Sai lệch logit là một phương pháp kiểm soát cộng hoặc trừ một giá trị số cho xác suất tạo (logit) của mỗi ứng cử viên khi LLM chọn mã thông báo tiếp theo để tăng cường hoặc ngăn chặn sự xuất hiện của các từ cụ thể.
Sai lệch logit là một chức năng kiểm soát thế hệ được cung cấp bởi API OpenAI, v.v. và được biết đến như một cơ chế chỉ định giá trị hiệu chỉnh trong khoảng -100 đến 100 cho mỗi ID mã thông báo và buộc phải thao túng xác suất xuất hiện của một từ hoặc biểu thức cụ thể. Nó đã được sử dụng để loại bỏ các từ bị cấm, hướng người dùng đến các định dạng cụ thể và ổn định đầu ra JSON. Tuy nhiên, trong hoạt động thực tế kể từ năm 2026, nó đang được thay thế bằng các lựa chọn thay thế chính xác hơn và dễ bảo trì hơn, chẳng hạn như prompt engineering chóng, đầu ra có cấu trúc và chế độ JSON, đồng thời người ta cho rằng có những cạm bẫy khi điều khiển phức tạp được thực hiện chỉ bằng cách sử dụng sai lệch logit, chẳng hạn như các từ đồng nghĩa với các mã thông báo khác nhau bị trượt qua như một tác dụng phụ và bối cảnh trở nên không tự nhiên. Phương pháp lựa chọn chung trong lĩnh vực này là tập trung vào các ứng dụng nhẹ như cấm hoặc buộc các từ đơn giản và để việc kiểm soát phức tạp cho đầu ra có cấu trúc hoặc gọi hàm. Mặc dù không có chi phí bổ sung cho lệnh gọi API nhưng cần phải tính đến số lần thử và sai sót liên quan đến việc điều chỉnh.