Grocking là một hiện tượng trong đó mạng lưới thần kinh tiếp tục học trong khi ghi nhớ dữ liệu huấn luyện và tại một thời điểm nào đó, hiệu suất khái quát hóa của nó đột nhiên được cải thiện.
Grokking đề cập đến một hiện tượng trong đó mạng lưới thần kinh vẫn ở trạng thái học quá mức (ghi nhớ vẹt) trên dữ liệu huấn luyện trong một thời gian dài, và sau đó đột nhiên hiệu suất tổng quát hóa của nó tăng vọt khi tiếp tục thực hiện việc học bổ sung. Các nhà nghiên cứu OpenAI đã báo cáo điều này trong một thử nghiệm học tập về các nhiệm vụ số học vào năm 2022, và kể từ đó việc chính quy hóa (giảm trọng số) và đủ số bước học tập đã được thảo luận rộng rãi như những điều kiện cho sự xuất hiện của nó. Trong thực tế vận hành tính đến năm 2026, có ý kiến cho rằng quyết định tiếp tục học hỏi không ngừng nghỉ để khai thác hiện tượng này sẽ gặp rủi ro lớn về chi phí. Với tính năng thanh toán hàng giờ trên đám mây GPU, việc kéo dài quá trình học mà không biết liệu việc khái quát hóa có xảy ra hay không có thể dễ dàng dẫn đến chi phí vượt quá mong đợi của thị trường. Vì vậy, tại hiện trường, bạn nên liên tục theo dõi tính chính xác của dữ liệu xác minh thay vì ngừng học tập chỉ vì đường cong tổn thất bị trì trệ. Khi tiến hành tìm hiểu bổ sung và tinh chỉnh nội bộ, lựa chọn thực tế là xác định trước số bước và giới hạn chi phí trên, sau đó kết hợp cơ chế giám sát các dấu hiệu khái quát hóa (tăng nhanh độ chính xác của việc xác minh).