Học có độ chính xác hỗn hợp là phương pháp giúp tăng tốc độ tính toán và hiệu quả bộ nhớ bằng cách sử dụng có chọn lọc các phép tính có độ chính xác thấp như FP16 và BF16 cũng như các phép tính có độ chính xác cao như FP32 trong huấn luyện mạng lưới thần kinh.
Học tập có độ chính xác hỗn hợp là công nghệ kết hợp các phép toán dấu phẩy động với độ rộng bit khác nhau, chẳng hạn như FP32 (độ chính xác đơn) và FP16/BF16 (độ chính xác một nửa), để cải thiện tốc độ học tập và giảm mức sử dụng bộ nhớ GPU, đồng thời được hỗ trợ tiêu chuẩn bởi Apex/AMP của NVIDIA và torch.cuda.amp của PyTorch. Nó thường được sử dụng kết hợp với việc chia tỷ lệ tổn thất để ngăn chặn dòng chảy gradient. Trong các hoạt động thực tế kể từ năm 2026, các trở ngại trong việc giới thiệu GPU tương thích BF16 (A100 trở lên) sẽ thấp và GPU này sẽ được bật theo mặc định trong nhiều quy trình học tập, nhưng một số triển khai cũ hơn và các hoạt động không ổn định về số lượng như LayerNorm sẽ cần phải được sửa thành FP32 và có một nhược điểm là quá trình học có thể tiếp tục mà không nhận thấy sự suy giảm về độ chính xác. Về cách chọn trong trường, việc đặt BF16 làm mặc định được coi là một quyết định hợp lý và chỉ xem xét FP16 khi hạn chế về bộ nhớ nghiêm trọng và chi phí điều chỉnh tỷ lệ là đáng giá, có tính đến các cân nhắc về chi phí.