Chunking là công nghệ sử dụng hệ thống RAG để chia các tài liệu dài thành các đơn vị nhỏ hơn để dễ tìm kiếm và xử lý hơn. Đây là bước tiền xử lý quan trọng trong đó kích thước và phương pháp phân chia ảnh hưởng đến độ chính xác của tìm kiếm và chất lượng câu trả lời.
Phân đoạn đề cập đến quá trình phân chia các tài liệu như PDF và văn bản dài thành các đơn vị nhỏ (khối) phù hợp để nhúng tìm kiếm tạo và tạo vectơ trong quy trình RAG (Tăng cường truy xuất và tạo).
Các chiến lược phân đoạn chính bao gồm phân đoạn có kích thước cố định, phân đoạn ranh giới câu, phân đoạn theo ngữ nghĩa và phân đoạn theo cấp bậc tận dụng cấu trúc tài liệu (tiêu đề và đoạn văn). Cạm bẫy lớn nhất trong hoạt động thực tế tính đến năm 2026 là sự phân mảnh ngữ cảnh do phân chia độ dài cố định đơn giản và thường xuyên có trường hợp ngữ cảnh bị cắt đứt ở ranh giới đoạn và độ chính xác truy xuất giảm đáng kể.
Theo nguyên tắc chung khi chọn kích thước đoạn trong trường, kích thước đoạn chính là từ 256 đến 1024 mã thông báo, nhưng đối với văn bản có cấu trúc như tài liệu pháp lý và thông số kỹ thuật, 512 đến 2048 mã thông báo trên mỗi đoạn văn là hiệu quả. Phương pháp tiêu chuẩn là bù đắp cho việc thiếu bối cảnh bằng cách cung cấp 10 đến 20% vùng chồng lấp (vùng chồng lấp). Trong các trường hợp do ReviewAI thu thập, có nhiều báo cáo cho thấy độ chính xác của câu trả lời RAG được cải thiện từ 20-40% chỉ bằng cách tối ưu hóa kích thước khối.
Về mặt chi phí, việc phân đoạn quá mức bị cấm vì chi phí tạo nhúng và dung lượng DB vectơ tăng tỷ lệ thuận với mức tăng số lượng khối. Kể từ năm 2026, phương pháp `` chuyển các khối lớn như hiện trạng '' đã trở nên phổ biến bằng cách mở rộng cửa sổ ngữ cảnh của LLM, nhưng việc đánh đổi việc tăng ảo giác do ô nhiễm tiếng ồn vẫn là một vấn đề.