ReviewAI
Xếp hạngDanh mụcKhám pháTạp chíSo sánhMiễn phíTừ điển

Sau đào tạo

Sau đào tạo là quá trình hoàn thiện trong đó SFT, RLHF, v.v. được áp dụng bổ sung cho LLM đã hoàn thành đào tạo trước để cải thiện tính tương tác, khả năng làm theo hướng dẫn và độ an toàn.

Sau đào tạo là thuật ngữ chung để chỉ giai đoạn học bổ sung, trong đó mô hình được điều chỉnh để đáp ứng phù hợp với ý định của con người, sau khi đào tạo trước, giai đoạn này dạy các khả năng cơ bản với một lượng lớn văn bản trên web. Ba phương pháp tiêu biểu là tinh chỉnh có giám sát (SFT), RLHF, sử dụng phản hồi của con người làm tín hiệu khen thưởng và DPO nhẹ hơn. Các phương pháp này được kết hợp để cải thiện khả năng theo dõi, tính an toàn và tính tự nhiên của cuộc đối thoại. Các mô hình chỉ sử dụng pre-learning rất khó sử dụng trong đối thoại vì chúng chỉ dự đoán từ tiếp theo, nên post-learning được coi là một quá trình thiết yếu để thương mại hóa. Trong hoạt động thực tế kể từ năm 2026, nhà cung cấp sẽ chịu trách nhiệm tìm hiểu sau mô hình có mục đích chung và việc triển khai nội bộ sẽ bị giới hạn ở một số công ty lớn vì nó yêu cầu tài nguyên tính toán nâng cao và chi phí bảo trì dữ liệu. Khi lựa chọn tại hiện trường, trong hầu hết các trường hợp, việc học bổ sung nhẹ nhàng như LoRA hoặc thiết kế nhanh chóng + RAG là đủ thay vì đào tạo sau đầy đủ và điểm khởi đầu thực tế là sử dụng phiên bản sau đào tạo của mô hình hiện có (ví dụ: Phiên bản hướng dẫn).

Thuật ngữ liên quan