Điện toán bí mật là công nghệ bảo vệ dữ liệu khỏi các bên thứ ba, bao gồm cả nhà cung cấp đám mây, bằng cách mã hóa và cách ly dữ liệu đang được xử lý trong bộ nhớ bằng các chức năng phần cứng của CPU/GPU.
Điện toán bí mật là công nghệ sử dụng phần cứng TEE (Môi trường thực thi tin cậy) như Intel SGX, AMD SEV và GPU bí mật NVIDIA H100 để mã hóa và cô lập dữ liệu trong khi dữ liệu đang được xử lý, cũng như khi dữ liệu được lưu trữ và truyền. Mã được thực thi trong một vùng mà ngay cả nhà cung cấp đám mây hoặc quản trị viên hệ điều hành cũng không thể nhìn thấy.
Ba công dụng chính của AI là: (1) suy luận RAG bằng cách sử dụng dữ liệu bí mật, (2) bảo vệ dữ liệu học tập trong quá trình tinh chỉnh trên đám mây và (3) ngăn chặn rò rỉ lời nhắc/phản hồi trong quá trình suy luận LLM. Sự ra đời của LLM trong tài chính, y học và chính phủ đang nhanh chóng thu hút sự chú ý.
Có ba cạm bẫy trong hoạt động thực tế vào năm 2026. ① Chi phí TEE dễ dàng làm giảm thông lượng xuống 50-70% so với bình thường. ②Đơn giá đám mây trung bình cho GPU tương thích (H100 CVM, v.v.) gấp 2 đến 3 lần so với GPU không tương thích. ③ Ngay cả trong các dịch vụ được cho là `` tương thích '', vẫn có những trường hợp việc triển khai còn nông cạn và chứng thực (chứng nhận từ xa) chỉ là một mã thông báo. Tại chỗ, chìa khóa thành công là phối hợp các thông số kỹ thuật với bộ phận tuân thủ ở giai đoạn xác định yêu cầu và thiết kế quy trình xác minh chứng thực.