Luật mở rộng quy mô là một quy tắc thực nghiệm cho biết rằng khi kích thước mô hình, lượng dữ liệu và lượng tính toán tăng lên thì hiệu suất của AI sẽ cải thiện theo cách có thể dự đoán được.
Luật chia tỷ lệ là một luật thực nghiệm phát biểu rằng trong mô hình ngôn ngữ quy mô lớn (LLM), khi ba yếu tố về số tham số, lượng dữ liệu huấn luyện và chi phí tính toán (FLOP) tăng lên, hàm mất mát sẽ được cải thiện theo cách thức quy luật lũy thừa. Nó được xây dựng trong "Luật mở rộng quy mô cho các mô hình ngôn ngữ thần kinh" do OpenAI xuất bản vào năm 2020 và trở thành cơ sở lý thuyết để phát triển các mô hình quy mô cực lớn như GPT-4 và Gemini Ultra.
Một cạm bẫy trong hoạt động thực tế tính đến năm 2026 là niềm tin rằng "mở rộng quy mô chắc chắn sẽ giúp bạn thông minh hơn". Trên thực tế, mặc dù khả năng suy luận, tạo mã và lý luận toán học có thể dễ dàng được cải thiện bằng cách chia tỷ lệ, nhưng chỉ chia tỷ lệ không giải quyết được việc triệt tiêu ảo giác, phản ánh kiến thức mới nhất và độ chính xác của miền cụ thể. Trong nhiều trường hợp, sự kết hợp giữa tinh chỉnh và RAG sẽ tiết kiệm chi phí hơn tại hiện trường.
Về chi phí, nếu mở rộng mô hình 10 lần thì chi phí đào tạo sẽ tăng khoảng 100 lần. Theo ước tính thị trường cho năm 2026 do ReviewAI nghiên cứu, chi phí suy luận tương đương GPT-4o đã giảm xuống khoảng 1/5 so với một năm trước, nhưng chi phí đào tạo cho mô hình lớn nhất lên tới hàng tỷ yên Nhật mỗi phiên. Thay vì tự mình theo đuổi quy mô, các công ty khởi nghiệp hiện đang quyết định sử dụng các API hiện có.