Mở rộng từ vựng (mở rộng mã thông báo tiếng Nhật) là một điều chỉnh bổ sung các thuật ngữ kỹ thuật dành riêng cho tiếng Nhật, danh từ riêng và từ viết tắt trong ngành vào mã thông báo LLM, giảm phân đoạn không cần thiết và tăng độ chính xác nhận dạng và hiệu quả mã thông báo.
Mở rộng từ vựng (mở rộng tokenizer tiếng Nhật) là sự điều chỉnh bổ sung các thuật ngữ ngành, tên công ty, tên sản phẩm, chữ viết tắt, v.v. vào từ điển khi LLM chia câu thành token. Các mã thông báo có mục đích chung có xu hướng chia các từ ghép tiếng Nhật và ký hiệu katakana thành các phần nhỏ một cách không tự nhiên và khi mỗi ký tự bị chia nhỏ, số lượng mã thông báo sẽ tăng lên, điều này được cho là làm giảm cả chi phí xử lý và độ chính xác. Có hai tiêu chuẩn ngành được biết đến rộng rãi: thêm các mục tùy chỉnh vào từ vựng SentencePiece và tiktoken, đồng thời học lại trình mã thông báo tùy chỉnh. Trong hoạt động thực tế kể từ năm 2026, việc mở rộng vốn từ vựng liên quan đến việc học lại mô hình sẽ tiêu tốn hàng triệu yên Nhật và đòi hỏi nguồn nhân lực chuyên môn, điều này được cho là không thực tế đối với các doanh nghiệp vừa và nhỏ trong nhiều trường hợp. Lựa chọn đầu tiên trong lĩnh vực này là một giải pháp thay thế nhẹ nhàng như căn chỉnh các biến thể chính tả ở phía lời nhắc/đăng ký từ vựng tìm kiếm ở phía RAG trong từ điển, thường có giá từ vài chục nghìn yên Nhật đến vài trăm nghìn yên Nhật. Nguyên tắc lựa chọn lĩnh vực này là việc mở rộng vốn từ vựng chỉ cần thiết nếu công ty bạn sở hữu mô hình lĩnh vực chuyên ngành.