ReviewAI
Xếp hạngDanh mụcKhám pháTạp chíSo sánhMiễn phíTừ điển

Phân đoạn muộn

Phân đoạn muộn là một phương pháp nhúng trong đó toàn bộ tài liệu được chuyển qua mô hình nhúng hỗ trợ các ngữ cảnh dài, sau đó được chia và vectơ của mỗi đoạn phản ánh ngữ cảnh của toàn bộ tài liệu.

Phân đoạn muộn là một phương pháp được Jina AI đề xuất vào năm 2024, trong đó toàn bộ tài liệu được chuyển qua mô hình nhúng tương thích với ngữ cảnh dài để thu được vectơ dựa trên mã thông báo, sau đó chuỗi vectơ được cắt thành các khối và tính trung bình, thay vì chia văn bản trước rồi nhúng riêng lẻ như trước đây. Ưu điểm của tiêu chuẩn ngành này là nó ngăn chặn sự mất ý nghĩa do sự phân mảnh ngữ cảnh và cải thiện độ chính xác khi tìm kiếm đối với các hợp đồng và hướng dẫn sử dụng dài. Mặt khác, trong hoạt động thực tế kể từ năm 2026, các cạm bẫy đã được chỉ ra, chẳng hạn như việc sử dụng mô hình nhúng hỗ trợ ngữ cảnh dài sẽ làm tăng chi phí tính toán và độ trễ suy luận, đồng thời hiệu quả sẽ giảm đi đối với các tài liệu vượt quá độ dài mã thông báo tối đa được mô hình hỗ trợ. Trong lĩnh vực này, người ta nói rằng, thay vì áp dụng nó cho tất cả các tài liệu, nó chỉ được giới thiệu cho các tài liệu cốt lõi trong đó độ chính xác của tìm kiếm là quan trọng và các quyết định được đưa ra sau khi so sánh độ chính xác và chi phí với việc phân nhóm thông thường.

Thuật ngữ liên quan