Kích thước từ vựng đề cập đến số lượng từ, từ phụ và ký hiệu (số lượng từ vựng) khác nhau mà mô hình ngôn ngữ quy mô lớn có thể xử lý bằng bộ mã thông báo.
Kích thước từ vựng đề cập đến tổng số từ vựng (mã thông báo) mà trình mã thông báo LLM có và thường được thiết kế theo thứ tự từ hàng chục nghìn đến hàng trăm nghìn. Kích thước từ vựng càng lớn thì độ chi tiết của biểu thức trên mỗi mã thông báo càng mịn, điều này thuận lợi cho việc hỗ trợ đa ngôn ngữ và xử lý các thuật ngữ chuyên ngành. Tuy nhiên, số lượng tham số trong lớp nhúng và lớp đầu ra tăng tỷ lệ thuận với kích thước từ vựng, do đó có sự đánh đổi trong đó kích thước mô hình và chi phí suy luận tăng lên. Trong hoạt động thực tế kể từ năm 2026, hiệu quả mã thông báo (mức tiêu thụ mã thông báo trên mỗi ký tự) của các quốc gia không nói tiếng Anh như tiếng Nhật và tiếng Trung sẽ được liên kết trực tiếp với thiết kế kích thước từ vựng và trong mô hình mà từ vựng thiên về tiếng Anh, đầu vào tiếng Nhật sẽ tiêu thụ nhiều mã thông báo ngay cả với cùng số lượng ký tự, điều này có nguy cơ khiến chi phí trả cho mỗi lần sử dụng của API tương đối cao. Khi chọn một mô hình trong trường này, điều quan trọng là phải sử dụng mã thông báo để xác minh trước xem văn bản tiếng Nhật thực tế sẽ được chia thành bao nhiêu mã thông báo, thay vì giá trị số của chính kích thước từ vựng. Nói chung, có xu hướng chung là các mô hình mới nhất nhấn mạnh vào việc hỗ trợ đa ngôn ngữ để mở rộng quy mô từ vựng.