Học thuộc lòng là một hiện tượng trong đó một mô hình ngôn ngữ quy mô lớn ghi nhớ các câu và mẫu số của dữ liệu học tập mà không khái quát hóa chúng và xuất ra chúng ở dạng tương tự.
Ghi nhớ đề cập đến trạng thái trong đó mô hình học máy ghi nhớ nội dung của dữ liệu huấn luyện dưới dạng các ví dụ riêng lẻ thay vì dưới dạng các mẫu có thể khái quát hóa. Trong lĩnh vực học sâu, điều này từ lâu đã được biết đến như một kiểu trang bị quá mức và được cho là một vấn đề trong các mô hình ngôn ngữ quy mô lớn, trong đó các câu, mã và thông tin cá nhân trong dữ liệu huấn luyện được xuất ra gần như chính xác. Trong hoạt động thực tế kể từ năm 2026, người ta đã chỉ ra rằng khi thực hiện tinh chỉnh trên các tài liệu và mã nguồn nội bộ, thông tin bí mật và nội dung có bản quyền sẽ được ghi nhớ và có nguy cơ bị rò rỉ tùy theo lời nhắc. Khi lựa chọn và vận hành một mô hình tại hiện trường, cần kiểm tra sự trùng lặp của dữ liệu đánh giá và dữ liệu huấn luyện, cái gọi là ô nhiễm dữ liệu và nếu xuất hiện dấu hiệu ghi nhớ vẹt, phải đưa ra quyết định chuyển sang thiết kế dựa nhiều vào việc truy xuất hơn là ghi nhớ, chẳng hạn như bằng cách điều chỉnh các thông số nhiệt độ hoặc sử dụng RAG. Chi phí trung bình của các cuộc kiểm toán và kiểm tra dự phòng khác nhau tùy từng trường hợp và chưa có tiêu chuẩn thống nhất nào được thiết lập.