Lạc vào giữa là một hiện tượng trong đó khi một ngữ cảnh dài được đưa cho LLM, thông tin ở đầu và cuối có thể được tham chiếu chính xác, nhưng thông tin nằm ở giữa có nhiều khả năng bị bỏ qua hơn.
Lost in the Middle là hiện tượng được nhóm nghiên cứu tại Đại học Stanford báo cáo vào năm 2023 và đề cập đến hiện tượng khi nhập văn bản dài vào LLM, tỷ lệ trả lời đúng sẽ cao khi thông tin liên quan nằm ở đầu hoặc cuối tài liệu, nhưng độ chính xác tham chiếu có xu hướng giảm đáng kể khi nó bị chôn vùi ở đâu đó ở giữa. Vấn đề này được cho là do đặc điểm cấu trúc của cơ chế chú ý của Transformer gây ra và được cho là vẫn chưa được giải quyết về cơ bản ngay cả vào năm 2026, khi cửa sổ ngữ cảnh đã mở rộng lên hàng trăm nghìn mã thông báo. Trong lĩnh vực mà RAG (Tăng cường và tạo truy xuất) thực sự được sử dụng, có một nhược điểm là càng đưa vào nhiều kết quả tìm kiếm thì độ chính xác của câu trả lời sẽ càng thấp, do đó, các biện pháp đối phó như sắp xếp các phần quan trọng về đầu hoặc cuối, thu hẹp xuống một số phần đầu và tóm tắt trước khi bàn giao đã được thiết lập tốt. Việc chỉ gửi các câu dài có vẻ rẻ hơn, nhưng xét đến chi phí làm lại và tìm kiếm lại do độ chính xác giảm, việc chọn một thiết kế kết hợp chọn lọc và sắp xếp đoạn đã trở nên phổ biến trong lĩnh vực này.