BPE là một phương pháp phân đoạn văn bản LLM tích hợp nhiều lần các cặp ký tự và chuỗi con xuất hiện thường xuyên để tạo các đơn vị mã thông báo.
BPE (Byte Pair Encoding) là một cơ chế chia văn bản thành các "mã thông báo" có thể được LLM xử lý. Ban đầu là một thuật toán nén dữ liệu, nó đã được điều chỉnh cho các mô hình ngôn ngữ bằng cách liên tục hợp nhất các cặp ký tự và chuỗi con xuất hiện thường xuyên để xây dựng vốn từ vựng phân tách các từ phổ biến thành một mã thông báo và các từ chưa biết thành nhiều mã thông báo. Nó được cho là sẽ được sử dụng trong dòng GPT và nhiều mã thông báo mô hình mở. Một cạm bẫy trong hoạt động thực tế là ở các ngôn ngữ không có dấu phân cách khoảng trắng như tiếng Nhật, lượng mã thông báo tiêu thụ trên mỗi ký tự có xu hướng tăng nhiều hơn so với tiếng Anh và mức tiêu thụ phí cũng như độ dài ngữ cảnh có xu hướng tăng ngay cả đối với cùng một lượng văn bản. Khi chọn một mô hình tại chỗ, thông lệ tiêu chuẩn không chỉ là xem xét giá thị trường của ''mỗi 1 triệu mã thông báo'' trên bảng giá mà còn kiểm tra lượng tiêu thụ bằng cách chạy văn bản tiếng Nhật thực tế thông qua mã thông báo. Nếu giả định này bị bỏ qua khi ước tính chi phí thì các giới hạn về bối cảnh và ngân sách có thể đạt được sớm hơn dự kiến.