Đầu tìm kiếm là một phần của đầu chú ý, đóng vai trò trích xuất có chọn lọc thông tin cần thiết từ ngữ cảnh dài trong LLM kiểu Transformer.
Đầu tìm kiếm là một khái niệm nghiên cứu đề cập đến một nhóm nhỏ các đầu trong số nhiều đầu chú ý của Transformer tập trung mạnh vào các mã thông báo cụ thể trong một ngữ cảnh dài và trích xuất thông tin cần thiết. Người ta nói rằng liệu một mô hình có thể tìm thấy câu trả lời chính xác trong các nhiệm vụ như QA ngữ cảnh dài hay Needle-in-a-Haystack hay không phần lớn phụ thuộc vào chức năng của các đầu tìm kiếm này. Người ta đã chỉ ra rằng đó là một cái đầu "phổ quát và thưa thớt", chỉ tồn tại với một số lượng nhỏ trên các lớp và hoạt động tương tự trên các mô hình và nhiệm vụ. Trong hoạt động thực tế kể từ năm 2026, ngay cả khi cửa sổ ngữ cảnh được mở rộng lên hàng trăm nghìn mã thông báo, các mô hình có đầu tìm kiếm yếu vẫn dễ xảy ra hiện tượng “lạc giữa chừng”, tức bỏ sót thông tin ở giữa một câu dài, đây là một trong những nguyên nhân làm giảm độ chính xác và ảo giác. Khi chọn một mô hình trong trường, điều quan trọng là không chỉ kiểm tra độ dài ngữ cảnh danh nghĩa mà còn cả điểm chuẩn tìm kiếm văn bản dài và được áp dụng rộng rãi để chọn một mô hình đảm bảo độ chính xác trong khi vẫn giảm chi phí bằng cách tăng cường đầu tìm kiếm hoặc sử dụng nó cùng với RAG.