ReviewAI
Xếp hạngDanh mụcKhám pháTạp chíSo sánhMiễn phíTừ điển

Top-p (lấy mẫu hạt nhân)

Top-p (lấy mẫu lõi) là phương pháp trong đó AI sử dụng lấy mẫu xác suất để chỉ chọn những ứng cử viên hàng đầu có xác suất tích lũy là p trở xuống khi chọn từ tiếp theo.

Top-p, còn được gọi là "lấy mẫu hạt nhân", là một tham số kiểm soát sự đa dạng và chất lượng đầu ra trong quá trình tạo văn bản của LLM. Nó nhận giá trị từ 0 đến 1 và khi p = 1,0, tất cả các mã thông báo đều là ứng cử viên và có thể đạt được độ ngẫu nhiên tối đa và khi p = 0,1, đầu ra được thu hẹp xuống chỉ còn 10% xác suất cao nhất, dẫn đến đầu ra thận trọng.

Nó thường bị nhầm lẫn với Nhiệt độ, nhưng vai trò của chúng khác nhau. Nhiệt độ làm thay đổi độ sắc nét của toàn bộ phân bố xác suất, trong khi Top-p tự động thu hẹp nhóm ứng viên. Trong thực tế vận hành vào năm 2026, tổ hợp “Temperature=0,7, Top-p=0,9” sẽ là tiêu chuẩn cho chatbot, nhưng để tạo mã, “Temperature=0,2, Top-p=0,95” là tổ hợp ổn định hơn.

Nghiên cứu sử dụng ReviewAI đã báo cáo nhiều cạm bẫy, chẳng hạn như khi di chuyển cả hai tham số cùng lúc, các hiệu ứng sẽ chồng chéo và trở nên khó dự đoán. Tài liệu chính thức của OpenAI cũng nêu rõ rằng ``nên thay đổi cái này hay cái kia'' và trong hiện trường, `` cố định Top-p thành 0,9 và chỉ chạm vào Nhiệt độ '' đang tăng lên. Mặc dù không có tác động trực tiếp đến chi phí API, nhưng việc giảm Top-p giúp rút ngắn và hội tụ đầu ra dễ dàng hơn, điều này có thể gián tiếp ngăn chặn việc tiêu thụ mã thông báo.

Thuật ngữ liên quan