Chưng cất là một phương pháp học máy chuyển kiến thức của "mô hình giáo viên" quy mô lớn sang "mô hình học sinh" quy mô nhỏ để làm cho nó nhẹ hơn và nhanh hơn.
Chưng cất kiến thức là một phương pháp được đề xuất bởi Hinton et al. vào năm 2015, trong đó phân phối xác suất đầu ra của một mô hình lớn (giáo viên) như GPT-4 hoặc Gemini Ultra được sử dụng làm tín hiệu giáo viên để đào tạo mô hình nhỏ hơn (học sinh). Bởi vì học sinh tiếp thu kiến thức tiềm ẩn không chỉ từ nhãn câu trả lời đúng mà còn từ “nhãn mềm” của giáo viên, nên chúng có xu hướng đạt hiệu suất cao hơn so với các mô hình zero-learning có cùng quy mô.
Để vận hành thực tế vào năm 2026, ngày càng nhiều công ty đang xem xét "chuyển từ LLM thương mại sang mô hình tại chỗ của riêng họ" trong bối cảnh chi phí API đám mây tăng cao. Có ba cạm bẫy trong lĩnh vực này: (1) Có nhiều trường hợp trong đó các điều khoản sử dụng mô hình giáo viên cấm rõ ràng việc chắt lọc và chuyển hướng (OpenAI ToS, v.v.), (2) Chắt lọc cho các nhiệm vụ có mục đích chung dẫn đến suy giảm chất lượng đáng kể và cần phải chuyên môn hóa nhiệm vụ, và (3) Chi phí tạo dữ liệu đào tạo có thể dao động từ hàng chục đến hàng triệu yên Nhật và ROI có thể không tương xứng.
Dựa trên các trường hợp thực tế của ReviewAI, chi phí ban đầu để chưng cất lên loại 7B đến 13B là khoảng 500 đến 200.000 yên Nhật và chi phí suy luận thường thấp hơn 1/10 so với API. Nếu số lượng yêu cầu mỗi tháng dưới 100.000 thì việc sử dụng API sẽ tiết kiệm chi phí hơn nhưng việc chưng cất sẽ tiết kiệm chi phí hơn khi số lượng yêu cầu vượt quá 500.000 mỗi tháng.