NVFP4 là định dạng dữ liệu dấu phẩy động 4 bit (FP4) do NVIDIA đề xuất và là công nghệ giúp giảm lượng tính toán và mức sử dụng bộ nhớ cho việc học và suy luận mô hình AI.
NVFP4 là định dạng dấu phẩy động 4 bit được hỗ trợ bởi GPU thế hệ NVIDIA Blackwell ở cấp độ phần cứng và thể hiện trọng số cũng như giá trị kích hoạt được nén nhiều hơn 8 bit (FP8) hoặc 16 bit (FP16/BF16). Không giống như lượng tử hóa INT4 thông thường, nó được cho là một tính năng tiêu chuẩn công nghiệp ở chỗ nó có thể giảm đáng kể thông lượng tính toán và băng thông bộ nhớ đồng thời ngăn chặn sự suy giảm độ chính xác bằng cách kết hợp chia tỷ lệ dựa trên khối. Trong các hoạt động thực tế kể từ năm 2026, nó sẽ được áp dụng cho suy luận trước khi học (đào tạo trước) và các hoạt động có độ chính xác hỗn hợp trong đó các lớp có khả năng chống lượng tử hóa thấp (một phần của sự chú ý, chuẩn hóa lớp, v.v.) được giữ ở định dạng có độ chính xác cao sẽ là xu hướng chủ đạo trong lĩnh vực này. Nếu tất cả các lớp chỉ được chuyển đổi thành FP4 thì độ chính xác có thể bị suy giảm rõ ràng, do đó, việc xác minh khả năng chống lượng tử hóa của từng mô hình trước khi đưa vào sản xuất được coi là thông lệ tiêu chuẩn. Với chi phí mua sắm GPU và chi phí điện năng vẫn ở mức cao, nó đang thu hút sự chú ý như một cách để đạt được hiệu suất tương tự với ít GPU hơn và cơ sở hạ tầng rẻ hơn, nhưng mức độ trưởng thành của các khung công cụ và chuỗi công cụ tương thích khác nhau tùy theo kiểu máy và nhà cung cấp, đồng thời người ta cho rằng cần phải kiểm tra hồ sơ theo dõi của các thư viện lượng tử hóa khi đưa ra lựa chọn.