Hình phạt lặp lại là một tham số giải mã điều chỉnh đầu ra bằng cách giảm xác suất xuất hiện của các mã thông báo đã xuất hiện để LLM không tạo ra cùng một từ hoặc cụm từ giống nhau.
Hình phạt lặp lại là một tham số giải mã giúp điều chỉnh xác suất xuất hiện mã thông báo nhằm gây khó khăn cho LLM trong việc chọn các từ và cụm từ đã được xuất ra khi tạo văn bản. Việc tăng giá trị sẽ làm giảm số lần lặp lại của cùng một biểu thức, nhưng việc tăng giá trị quá nhiều sẽ dẫn đến việc sử dụng quá mức các từ đồng nghĩa một cách không tự nhiên và làm mất ngữ cảnh, do đó, nhiều API thường điều chỉnh giá trị trong phạm vi từ 0,9 đến 1,3, với giá trị tham chiếu khoảng 1,0. Có các cơ chế tương tự như phạt tần suất và phạt hiện diện, ngoại trừ việc cơ chế trước tăng mức phạt tương ứng với số lần xuất hiện. Trong thực tế sử dụng kể từ năm 2026, nó thường được sử dụng để ngăn chặn sự lặp lại dư thừa trong các nhiệm vụ tạo và tóm tắt câu dài, nhưng trong các ngôn ngữ như tiếng Nhật vốn lặp lại các tiểu từ và đuôi từ một cách tự nhiên, có một cạm bẫy là việc áp dụng hình phạt quá mạnh có thể khiến ngữ pháp bị hỏng, vì vậy, trong thực tế, thông thường là phải tinh chỉnh cẩn thận nó xung quanh giá trị mặc định. Vì nó có thể được hoàn thành chỉ bằng cách thay đổi các thông số và không mất thêm chi phí nên nó cũng dễ sử dụng vì bạn có thể dùng thử mà không cần lo lắng về giá thị trường.