RoPE là phương pháp mã hóa vị trí sử dụng LLM dựa trên Transformer để nhúng thông tin vị trí mã thông báo vào vectơ Truy vấn/Khóa bằng cách sử dụng ma trận xoay.
RoPE (Nhúng vị trí quay) là một phương pháp trong LLM dựa trên Transformer nhúng thông tin vị trí mã thông báo trực tiếp vào vectơ Truy vấn/Khóa bằng cách sử dụng ma trận xoay và được đặc trưng bởi khả năng thể hiện mối quan hệ giữa vị trí tuyệt đối và vị trí tương đối cùng một lúc. Nó đã được sử dụng làm tiêu chuẩn trong các mô hình mở như LLaMA và Mistral, và tính đến năm 2026, nó vẫn sẽ được sử dụng rộng rãi như một công nghệ cơ bản cho các mô hình tương thích với bối cảnh dài. Trong hoạt động thực tế, người ta biết rằng độ chính xác có xu hướng giảm sút khi suy luận với thời lượng ngữ cảnh dài hơn so với trong quá trình đào tạo và như một biện pháp đối phó, các thiết kế kết hợp các phương pháp ngoại suy như chia tỷ lệ nhận biết NTK và YaRN là phổ biến trong lĩnh vực này. Khi chọn một mô hình, người ta nói rằng nếu bạn không chỉ kiểm tra độ dài ngữ cảnh tương ứng trong danh mục mà còn cả phương pháp ngoại suy nào thực sự được sử dụng để mở rộng, thì sẽ có nguy cơ là hiệu suất sẽ chỉ đạt được với ngữ cảnh ngắn hơn mong đợi. Nếu bạn tự điều chỉnh, bạn cũng nên lưu ý rằng thực tế là số giờ công xác minh sẽ được tính thêm vào chi phí.