bfloat16 (BF16) là định dạng dấu phẩy động 16 bit có 8 bit dành riêng cho phần số mũ, giống như FP32 và chỉ có 7 bit cho phần định trị.
bfloat16 (BF16) là định dạng dấu phẩy động 16 bit được Google thiết kế cho máy học. Bằng cách dành 8 bit cho phần số mũ, giống như FP32 và thu hẹp mantissa xuống còn 7 bit, bfloat16 (BF16) được cho là được sử dụng rộng rãi trong việc học và suy luận các mô hình ngôn ngữ quy mô lớn như một định dạng duy trì phạm vi các giá trị số có thể được biểu diễn gần giống như FP32, đồng thời giảm chi phí sử dụng bộ nhớ và tính toán khoảng một nửa. Do có ít phần mantissa hơn nên khả năng tràn ít xảy ra hơn so với FP16, nhưng người ta đã chỉ ra rằng lỗi làm tròn đối với số nhỏ có xu hướng trở nên lớn và độ chính xác có thể giảm ở các lớp có độ dốc nhỏ. Trong các hoạt động thực tế kể từ năm 2026, quá trình học tập sẽ thường được kết hợp với độ chính xác hỗn hợp FP32 hoặc FP8 và hoạt động độc lập BF16 sẽ ngày càng được áp dụng nhiều hơn trong các trang web thiên về suy luận. Xét về giá thị trường cho GPU đám mây, mặc dù việc chuyển đổi sang BF16 có thể giảm đáng kể mức tiêu thụ và chi phí VRAM, nhưng cần phải chọn phần cứng tương thích như GPU NVIDIA và TPU sau Ampere và thông lệ tiêu chuẩn trong lĩnh vực này là trước tiên hãy kiểm tra xem nền tảng suy luận của công ty bạn có tương thích hay không.