Lấy mẫu Top-k là một phương pháp giải mã trong đó khi LLM tạo mã thông báo tiếp theo, nó sẽ thu hẹp xuống k ứng cử viên có xác suất cao nhất và sau đó chọn ngẫu nhiên một mã.
Lấy mẫu top-k được cho là đề cập đến một phương pháp tạo trong đó khi LLM dự đoán mã thông báo tiếp theo, nó chỉ để lại k (ví dụ: k=40) hàng đầu của phân phối xác suất làm ứng cử viên và chọn ngẫu nhiên một trong số chúng theo xác suất. So với phương pháp lấy mẫu đơn giản từ tất cả các ứng viên, phương pháp này có đặc điểm là khả năng tạo ra các câu đa dạng hơn so với giải mã tham lam, luôn chỉ chọn những từ có khả năng nhất, đồng thời giảm xác suất chọn những từ bất thường có xác suất thấp. Trong hoạt động thực tế, nó thường được sử dụng kết hợp với nhiệt độ và top-p, và điều đáng tiếc là nếu giá trị của k quá nhỏ, các biểu thức sẽ đơn điệu và giống nhau, còn nếu quá lớn thì đầu ra sẽ tăng ngoài ngữ cảnh. Trong lĩnh vực này kể từ năm 2026, theo mặc định, nhiều API sẽ được sử dụng kết hợp với top-p và mặc dù sẽ không có thêm chi phí cho việc điều chỉnh tham số nhưng cần lưu ý rằng chi phí kiểm tra và đánh giá sẽ tăng lên khi khả năng tái tạo của đầu ra giảm.