Học trước liên tục là phương pháp thực hiện đào tạo trước bổ sung trên mô hình ngôn ngữ quy mô lớn được đào tạo bằng cách sử dụng dữ liệu mới để cập nhật kiến thức và khả năng thích ứng với miền của nó.
Đào tạo trước liên tục là một phương pháp thực hiện việc học tự giám sát bổ sung trên mô hình cơ sở được đào tạo trước bằng cách sử dụng kho ngữ liệu dành riêng cho miền lớn hơn so với tinh chỉnh. Nó thường được sử dụng để nâng cao kiến thức cơ bản về các mô hình trong các ngành có nhiều thuật ngữ kỹ thuật, chẳng hạn như y học, luật và tài chính, và được phân biệt với tinh chỉnh, điều chỉnh hành vi bằng cách sử dụng dữ liệu phản hồi lệnh. Trong hoạt động thực tế tính đến năm 2026, cạm bẫy lớn nhất là "sự lãng quên thảm khốc", trong đó độ chính xác của các nhiệm vụ chung mà hệ thống làm tốt ban đầu giảm đi do học thêm và điều chỉnh tỷ lệ trộn dữ liệu diễn tập đã trở thành một thông lệ thường lệ trên thực địa. Về mặt chi phí, việc cập nhật đầy đủ thông số có xu hướng tiêu tốn hàng trăm đến hàng nghìn giờ GPU, còn về mặt chi phí, việc so sánh với các phương pháp thích ứng nhẹ như LoRA thường là tiêu chí lựa chọn trong lĩnh vực này. Người ta nói rằng việc lựa chọn sẽ được thực hiện dựa trên khả năng chịu đựng khối lượng dữ liệu, tần suất cập nhật và rủi ro quên, bao gồm cả việc liệu nó có thể được sử dụng cùng với RAG và tinh chỉnh hay không.