YaRN là phương pháp nội suy và điều chỉnh mã hóa vị trí của Máy biến áp (RoPE) cho từng dải bước sóng, giúp mở rộng đáng kể độ dài ngữ cảnh của mô hình đồng thời giảm chi phí học tập bổ sung.
YaRN (Phương pháp mở rộng RoPE khác) là một phương pháp cho phép mô hình tương ứng với bối cảnh dài hơn nhiều lần so với bối cảnh trong quá trình đào tạo, chỉ với một lượng nhỏ học tập bổ sung, bằng cách nội suy và ngoại suy các thành phần tần số của RoPE cho từng dải bước sóng và được cho là được sử dụng rộng rãi trong phiên bản văn bản dài của mô hình mở. Là một tiêu chuẩn ngành, nó được coi là một tùy chọn cùng với phép chia tỷ lệ nhận biết NTK và nội suy tuyến tính. Những cạm bẫy trong hoạt động thực tế là ngay cả sau khi mở rộng vẫn có xu hướng "Mất giữa chừng", trong đó thông tin ở giữa đầu vào bị bỏ qua và độ chính xác của các tác vụ câu ngắn có xu hướng giảm đi đôi chút khi tốc độ mở rộng tăng lên. Phương pháp lựa chọn trong trường được xác định bằng sự cân bằng giữa số lượng mã thông báo tối đa được yêu cầu và mức độ mất độ chính xác có thể chấp nhận được, đồng thời có thể ưu tiên đưa ra quyết định phù hợp với số lượng tài liệu thực sự sẽ được sử dụng mà không làm tăng tỷ lệ mở rộng một cách vô lý. Về mặt chi phí, bản thân việc mở rộng không yêu cầu chi phí học lại quy mô lớn, nhưng bối cảnh càng dài thì chi phí tính toán và bộ nhớ GPU sẽ càng cần nhiều hơn trong quá trình suy luận. Kể từ năm 2026, thanh toán trả theo mức độ sử dụng tỷ lệ thuận với độ dài ngữ cảnh sẽ là xu hướng chủ đạo và các thiết kế giảm sự phụ thuộc bằng cách sử dụng RAG cùng nhau cũng phổ biến trong lĩnh vực này.