Tấn công kênh bên có độ dài mã thông báo là một lỗ hổng trong đó nội dung câu hỏi hoặc một số thông tin bí mật có thể được suy ra từ những thay đổi về số lượng mã thông báo hoặc độ dài phản hồi ngay cả trong phản hồi LLM được mã hóa.
Tấn công kênh bên chiều dài mã thông báo đề cập đến một lỗ hổng trong đó, ngay cả khi bản thân đầu ra LLM không thể được giải mã, nội dung của các câu hỏi và câu trả lời được trao đổi có thể được suy ra với xác suất cao từ kích thước gói của mỗi mã thông báo và mẫu số lượng ký tự phản hồi và mã thông báo trong quá trình phân phối phát trực tuyến. Ngay cả khi thông tin liên lạc được mã hóa bằng TLS, trong các triển khai gửi từng mã thông báo một cách tuần tự, trình tự độ dài gói phản ánh nguyên cấu trúc của văn bản, do đó, chỉ riêng mã hóa được cho là không thể ngăn chặn rò rỉ thông tin trong một số trường hợp. Để đối phó, các phương pháp đã được đề xuất như gửi phản hồi theo đợt, sử dụng phần đệm để cân bằng độ dài gói và chuyển sang gửi theo đợt theo khoảng thời gian cố định. Trong hoạt động thực tế kể từ năm 2026, biện pháp bảo vệ như vậy có thể sẽ phải đánh đổi với độ trễ và trên thực tế, chi phí của các biện pháp đối phó ngày càng được xác định dựa trên việc ứng dụng có xử lý thông tin nhạy cảm hay không. Mặc dù các chatbot cho mục đích sử dụng chung vẫn là một rủi ro có thể chấp nhận được nhưng chi phí đệm và phân khối cho việc cộng tác API trong các lĩnh vực y tế, pháp lý và tài chính đang được đàm phán.