GPTQ là phương pháp lượng tử hóa sau đào tạo (PTQ), nén trọng số của mô hình ngôn ngữ được đào tạo quy mô lớn xuống còn khoảng 4 bit mà không cần đào tạo lại.
GPTQ là một phương pháp lượng tử hóa ma trận trọng số thành các giá trị nguyên đồng thời giảm thiểu các lỗi gần đúng bậc hai cho mỗi lớp và được cho là được áp dụng rộng rãi như một phương pháp nhẹ cho suy luận LLM vì nó dễ dàng ngăn chặn sự suy giảm độ chính xác ngay cả khi được nén thành 4 bit hoặc 3 bit. Trong hoạt động thực tế kể từ năm 2026, độ chính xác sau khi lượng tử hóa sẽ phụ thuộc rất nhiều vào chất lượng của mô hình ban đầu và việc lựa chọn dữ liệu hiệu chuẩn, do đó, việc chỉ đánh giá dựa trên số điểm chuẩn công khai có thể không mang lại độ chính xác như mong đợi cho các tác vụ tại chỗ. Ngoài ra, thay vì bản thân lượng tử hóa, trạng thái phát triển của công cụ suy luận tương ứng và nhân GPU có thể sẽ trở thành một nút thắt cổ chai, vì vậy, khi chọn một công cụ, điều quan trọng tại hiện trường là phải so sánh giá thị trường và hiệu suất vận hành với các phương pháp lượng tử hóa khác như AWQ và GGUF, sau đó sử dụng phương pháp theo kích thước mô hình, dung lượng VRAM và chi phí cho phép.