BERT là mô hình ngôn ngữ Transformer hai chiều được Google công bố vào năm 2018. Nó đọc ngữ cảnh cả xuôi và ngược, cải thiện độ chính xác của tìm kiếm và phân loại văn bản.
BERT (Đại diện bộ mã hóa hai chiều từ Transformers) là mô hình ngôn ngữ loại bộ mã hóa Transformer hai chiều được Google công bố vào năm 2018 và có đặc điểm là cải thiện độ chính xác của việc hiểu nghĩa bằng cách đọc đồng thời các từ trong câu từ ngữ cảnh xung quanh chúng. Nó đã được áp dụng rộng rãi cho các ứng dụng nắm bắt chính xác ý nghĩa của văn bản hiện có, chẳng hạn như hiểu truy vấn của công cụ tìm kiếm, phân loại câu và trích xuất thực thể được đặt tên, thay vì cho mục đích tạo như hệ thống GPT. Trong hoạt động thực tế kể từ năm 2026, trong bối cảnh bùng nổ AI, các mô hình bộ mã hóa dựa trên BERT sẽ tiếp tục tồn tại trong lĩnh vực này dưới dạng các ứng dụng nhẹ, chi phí thấp, hậu trường để phân loại và tìm kiếm, đồng thời được coi là một lựa chọn giúp giảm chi phí suy luận so với việc liên tục gọi LLM quy mô lớn. Mặt khác, việc duy trì liên tục các mô hình đã được tinh chỉnh và đào tạo lại bằng dữ liệu theo miền cụ thể đòi hỏi một lượng nhân công đáng kể, do đó, khi giới thiệu một mô hình, chìa khóa để lựa chọn là xác định xem ứng dụng có yêu cầu tạo bằng LLM hay các khu vực phân loại/tìm kiếm trong đó loại BERT là đủ hay không.