Quá khớp là hiện tượng trong đó một mô hình quá khớp với dữ liệu huấn luyện, dẫn đến hiệu suất tổng quát hóa giảm đáng kể đối với dữ liệu chưa biết.
Trang bị quá mức đề cập đến một hiện tượng trong đó các mô hình học máy/học sâu ghi nhớ nhiễu và sai lệch trong dữ liệu huấn luyện, dẫn đến hiệu suất giảm đáng kể khi gặp dữ liệu lần đầu tiên trong hoạt động thực tế. Một dấu hiệu điển hình là độ chính xác trong huấn luyện cao nhưng độ chính xác của bài kiểm tra lại thấp, xuất hiện dưới dạng “độ lệch về độ chính xác”.
Trong lĩnh vực này kể từ năm 2026, nguy cơ trang bị quá mức sẽ trở nên quen thuộc hơn khi chi phí tinh chỉnh LLM đã giảm. Thực tế là khi cố gắng tinh chỉnh hoàn toàn bằng cách sử dụng hàng trăm dữ liệu nội bộ, một mô hình sẽ được sản xuất hàng loạt sẽ trả về những câu trả lời tai hại cho các câu hỏi bên ngoài miền. Trong một cuộc khảo sát của ReviewAI, hơn 30% trường hợp cài đặt cho biết ``tính linh hoạt giảm sau khi tinh chỉnh.''
Biện pháp đối phó tiêu chuẩn tại hiện trường là sự kết hợp giữa bỏ học, chính quy hóa (L1/L2) và dừng sớm. Trong LLM, phương pháp thu hẹp tham số cập nhật bằng LoRA và QLoRA có ưu điểm là hiệu quả về mặt chi phí. Xét về giá thị trường, FT đầy đủ có giá từ hàng chục nghìn đến hàng trăm nghìn yên Nhật cho GPU, trong khi hệ thống LoRA thường có giá khoảng 1/5 đến 1/10.
Nếu lượng dữ liệu nhỏ, thông lệ tiêu chuẩn trong lĩnh vực này sẽ là vào năm 2026 để tránh việc tự tinh chỉnh và thay thế nó bằng RAG hoặc kỹ thuật kịp thời.