Học trong ngữ cảnh là một phương pháp suy luận giúp giải quyết các nhiệm vụ chỉ bằng cách sử dụng các ví dụ và hướng dẫn được đưa ra theo lời nhắc mà không cập nhật trọng số của mô hình. Ít-Shot và Zero-Shot là những ví dụ điển hình của ICL.
Học trong ngữ cảnh (ICL) là một cơ chế trong đó LLM sử dụng các ví dụ, giải thích và hướng dẫn trong cửa sổ ngữ cảnh dưới dạng "tín hiệu học tập tạm thời" trong quá trình suy luận và thích ứng với các nhiệm vụ mới mà không cần cập nhật trọng số. Không giống như tinh chỉnh, không cần GPU hoặc chi phí học tập bổ sung, vì vậy lợi thế lớn nhất trong lĩnh vực này là bạn có thể thử mọi thứ từ nguyên mẫu đến sản xuất trong cùng một ngày.
Có ba cạm bẫy lớn trong hoạt động thực tế tính đến năm 2026. ① Sự phụ thuộc vào độ dài bối cảnh: Chi phí mã thông báo tăng tuyến tính khi số lượng ví dụ tăng lên và không có gì lạ khi GPT-4o có giá hàng trăm nghìn yên Nhật mỗi tháng nếu vài trăm ví dụ được gửi cho mỗi yêu cầu. ②Độ lệch thứ tự: Đầu ra của mô hình thay đổi tùy theo thứ tự của các ví dụ, vì vậy nguyên tắc vàng là xáo trộn việc đánh giá và thực hiện nó nhiều lần. ③ Ô nhiễm: Khi các câu trả lời sai được đưa vào bối cảnh, độ lệch xác nhận sẽ tăng lên và tỷ lệ câu trả lời đúng có xu hướng giảm mạnh.
Khi xem xét các trường hợp thực tế tại ReviewAI, nhiều công cụ hỗ trợ khách hàng sử dụng cấu hình kết hợp kết hợp RAG và ICL, đồng thời ``đưa các câu trả lời được tìm kiếm trực tiếp vào lời nhắc.'' Đối với một số ít trường hợp (3 đến 10 trường hợp), chi phí API có thể được giữ ở mức tối thiểu, do đó thông lệ tại hiện trường là thử nó với ICL trước rồi chuyển sang tinh chỉnh nếu hiệu suất không đủ.