Pre-learning là giai đoạn đào tạo trong đó một mô hình ngôn ngữ quy mô lớn được đào tạo bằng cách sử dụng một lượng lớn dữ liệu văn bản trên Internet để có được khả năng hiểu và tạo ngôn ngữ cho mục đích chung.
Đào tạo trước là một quá trình trong đó LLM sử dụng kho văn bản từ hàng trăm tỷ đến hàng nghìn tỷ mã thông báo để tìm hiểu các mẫu ngôn ngữ cơ bản trước khi học một nhiệm vụ cụ thể. Tất cả các mô hình lớn như GPT, Claude và Gemini đều được xây dựng với chi phí rất lớn ở giai đoạn này.
Đối với các hoạt động thực tế vào năm 2026, việc thực hiện đào tạo nội bộ từ đầu sẽ không thực tế và cách tiếp cận chủ đạo sẽ là điều chỉnh hoạt động kinh doanh bằng cách sử dụng tinh chỉnh và RAG dựa trên mô hình nền tảng hiện có. Quyết định đầu tiên được đưa ra tại chỗ là lựa chọn giữa ``mô hình nền tảng có mục đích chung'' và ``mô hình dành riêng cho miền''.
Xét về giá trị thị trường, việc đào tạo sơ bộ cho lớp GPT-4 đòi hỏi nguồn lực tính toán lên tới hàng chục tỷ yên Nhật, điều này là không thực tế đối với các cá nhân và doanh nghiệp vừa và nhỏ. Mặt khác, có những trường hợp các phương pháp thích ứng miền sử dụng đào tạo trước liên tục cho các mô hình nguồn mở dựa trên LLaMA có thể được thực hiện với chi phí hàng trăm nghìn đến hàng triệu yên Nhật. Hầu hết các công cụ được giới thiệu tại ReviewAI đều sử dụng mô hình được đào tạo trước này trong nội bộ và người dùng có thể tận hưởng các lợi ích của nó với mức đăng ký hàng tháng vài nghìn yên Nhật.