Mô hình cơ sở là một LLM vừa được đào tạo trước trên một lượng lớn văn bản, trước khi thực hiện các điều chỉnh bổ sung cho việc làm theo hướng dẫn và đối thoại.
Mô hình cơ sở là một LLM đã được đào tạo trước bằng cách sử dụng một lượng lớn văn bản trên Internet và là một khái niệm kết hợp với `` mô hình hướng dẫn '' và `` mô hình trò chuyện '' đã được điều chỉnh để tuân theo hướng dẫn, đối thoại và an toàn. Riêng mô hình cơ sở có xu hướng mạnh mẽ là chỉ "dự đoán từ tiếp theo" và có xu hướng hoạt động giống như cố gắng tạo ra phần tiếp theo của câu thay vì trả lời các câu hỏi một cách trung thực. Hầu hết các sản phẩm được phát hành dưới tên ChatGPT và Claude đều là những mẫu đã trải qua RLHF hoặc tinh chỉnh và mẫu cơ sở hiếm khi được cung cấp ra công chúng. Trong thực tế, các mô hình cơ sở chủ yếu được sử dụng để tinh chỉnh bằng dữ liệu nội bộ và trong hoạt động thực tế, các mô hình cơ sở trọng lượng mở thường được chọn làm nền tảng. Xét về mặt giá thị trường vào năm 2026, việc tinh chỉnh từ mô hình cơ sở có xu hướng làm tăng chi phí GPU cũng như chi phí nhân công để bảo trì dữ liệu, do đó, thông lệ tiêu chuẩn trong lĩnh vực này trước tiên là xem xét liệu RAG có đủ hay không trước khi bắt đầu.