Học tự giám sát là phương pháp học tự động tạo ra các nhiệm vụ dự đoán từ chính cấu trúc của dữ liệu mà không cần gắn nhãn thủ công và sử dụng các câu trả lời đúng để huấn luyện mô hình.
Học tự giám sát là phương pháp thực hiện học sơ bộ bằng cách tự động tạo các nhãn giả chính xác theo cách dự đoán trạng thái ban đầu bằng cách xử lý dữ liệu đầu vào bằng cách ẩn một phần dữ liệu hoặc thay đổi thứ tự của nó, thay vì chuẩn bị dữ liệu được dán nhãn như trong học có giám sát. Dự đoán điền vào chỗ trống của BERT, dự đoán từ tiếp theo dựa trên GPT và học đối chiếu trong trường hình ảnh (SimCLR, v.v.) là những ví dụ nổi tiếng và đã trở thành phương pháp chính thống để đào tạo trước các mô hình ngôn ngữ quy mô lớn và các mô hình cơ bản. Mặc dù ưu điểm lớn nhất của nó là có thể giảm đáng kể chi phí ghi nhãn, nhưng người ta chỉ ra rằng trong hoạt động thực tế kể từ năm 2026, chỉ việc học trước sẽ không có đủ độ chính xác cho một nhiệm vụ cụ thể và thường cần phải chuẩn bị dữ liệu được dán nhãn để tinh chỉnh. Chi phí tính toán để thực hiện đào tạo trước từ đầu có thể dao động từ vài triệu yên Nhật đến hàng chục triệu yên Nhật, do đó, việc sử dụng lại mô hình được đào tạo trước hiện có có thể được ưu tiên thực hiện hơn là tự học. Khi đưa ra lựa chọn, việc quyết định nên bắt đầu với việc tự học trước hay sử dụng mô hình hiện có được coi là thực tế, có tính đến tính duy nhất của nhiệm vụ, lượng dữ liệu và chi phí tính toán.