GGUF là định dạng tệp lượng tử hóa các mô hình ngôn ngữ quy mô lớn và cho phép chúng chạy ở tốc độ cao trên CPU hoặc môi trường cục bộ.
GGUF là định dạng phân phối mô hình lượng tử hóa do dự án llama.cpp phát triển và bằng cách nén trọng số từ 4 bit xuống 8 bit rồi kết hợp chúng thành một tệp duy nhất, nó cho phép suy luận LLM ngay cả trên máy tính xách tay và điện thoại thông minh không có GPU. Quá trình tiêu chuẩn hóa đang được tiến hành để thay thế định dạng GGML cũ và nhiều mô hình mở được phân phối dưới dạng phiên bản GGUF trên Hugging Face. Trong hoạt động thực tế, kích thước mô hình và chi phí suy luận giảm khi số lượng bit lượng tử hóa giảm xuống, nhưng người ta nói rằng độ chính xác đầu ra và khả năng tuân theo lệnh có thể giảm rõ rệt, do đó, nó được áp dụng rộng rãi trong lĩnh vực này để thử nhiều mức lượng tử hóa từ Q4 đến Q8 trước khi đưa ra lựa chọn. Kể từ năm 2026, rất có thể nó sẽ được áp dụng trong các ứng dụng tại chỗ và biên nhằm tránh chi phí sử dụng API đám mây, nhưng vì khả năng chịu đựng sự xuống cấp sẽ thay đổi tùy theo yêu cầu kinh doanh, nên bạn nên đánh giá giá trị thị trường mà không bỏ qua việc xác minh độ chính xác.