Kỹ thuật bối cảnh là phương pháp thiết kế và tối ưu hóa toàn bộ thông tin đầu vào như lời nhắc, kiến thức bên ngoài và lịch sử hội thoại được chuyển đến LLM để cải thiện độ chính xác đầu ra của mô hình.
Kỹ thuật bối cảnh vượt xa việc tạo ra một lời nhắc duy nhất và đề cập đến nỗ lực thiết kế toàn bộ đầu vào ngữ cảnh cho LLM, chẳng hạn như lời nhắc hệ thống, lịch sử hội thoại, kiến thức bên ngoài có được thông qua RAG, kết quả thực thi công cụ và thông tin người dùng cũng như để chọn và sắp xếp thông tin hiệu quả nhất trong cửa sổ ngữ cảnh giới hạn. Trong khi kỹ thuật prompt tập trung vào “những gì cần hướng dẫn”, thì kỹ thuật bối cảnh có đặc điểm là xử lý “những gì cần hiển thị”. Trong hoạt động thực tế kể từ năm 2026, một cạm bẫy điển hình được chỉ ra là “ô nhiễm bối cảnh”, trong đó có quá nhiều thông tin tràn ngập cửa sổ ngữ cảnh, dẫn đến giảm độ chính xác và tăng chi phí. Trong lĩnh vực này, các phương pháp như RAG, thiết kế lệnh gọi công cụ cũng như tóm tắt và nén lịch sử, chỉ chọn động những thông tin cần thiết, được áp dụng rộng rãi. Vì số lượng mã thông báo được liên kết trực tiếp với chi phí sử dụng API nên đây là lĩnh vực mà các quyết định thiết kế phải được đưa ra để cân bằng lượng thông tin và chi phí dựa trên tâm lý thị trường.