Mã hóa vị trí là cơ chế gán thông tin thứ tự trong câu cho từng mã thông báo trong mô hình Transformer dưới dạng vectơ số. Nó được coi là yếu tố thiết yếu vì chỉ riêng cơ chế tự chú ý không thể phân biệt được trật tự từ.
Cơ chế tự chú ý của Transformer xử lý song song từng mã thông báo nên nó không có cách nào để phân biệt giữa chính thứ tự từ. Do đó, mã hóa vị trí, bổ sung thông tin vị trí dưới dạng giá trị số để nhúng từng mã thông báo, đã được tích hợp làm tiêu chuẩn ngành. Các phương pháp điển hình được chia đại khái thành loại sin-cosine (mã hóa vị trí tuyệt đối) trong đó mô hình được cố định bằng công thức toán học trước khi học, phương pháp mà mô hình thu được nó thông qua học tập và Nhúng vị trí quay (RoPE), trong đó vị trí tương đối được biểu thị dưới dạng ma trận xoay, đã được áp dụng rộng rãi trong các LLM lớn gần đây. Cạm bẫy mà lĩnh vực này gặp phải khi vận hành thực tế vào năm 2026 là vấn đề "ngoại suy ngữ cảnh", làm giảm độ chính xác của thông tin vị trí và làm giảm chất lượng đầu ra khi cung cấp đầu vào dài hơn những dữ liệu được sử dụng trong quá trình đào tạo và vấn đề này được cho là có nhiều khả năng xảy ra trong các ứng dụng có ngữ cảnh dài như tóm tắt văn bản dài và phân tích nhật ký khối lượng lớn. Việc thay đổi phương pháp mã hóa vị trí bằng cách tự đào tạo trước và học lại LLM đòi hỏi chi phí GPU lớn, vì vậy, tùy chọn thực tế nhất là sử dụng phương pháp được sử dụng bởi các mô hình được đào tạo trước hiện có (Claude, GPT, v.v.).