bfloat16 - 硬體數字定義

描述

Intel® Deep Learning Boost （Intel® DL Boost） 使用 bfloat16 格式 （BF16）。本文檔介紹 bfloat16 浮點格式。BF16 與 FP16 相比有幾個優點：它可以看作是 FP32 的簡短版本，跳過了最不重要的 16 位尾數。沒有必要支援非正常;FP32，以及BF16，為深度學習訓練任務提供了足夠的範圍。乘法后的 FP32 累積對於在應用程式級別上實現足夠的數值行為至關重要。不需要硬體異常處理，因為這是性能優化;業界正在設計圍繞檢查 inf/NaN 的演算法。