Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論

Posted By 許 哲豪 on 3 月 27, 2024 in AI關鍵技術, Edge AI教學文, NVIDIA, 教學文 | 0 comments

GTC 2024 Keynote (Youtube)。

這兩天相信很多人都被老黃GTC 2024演講給震撼到了吧！如果你是剛買了H100的朋友，大概心中不免XXX，眼眶中充滿淚水暗罵老黃「你又跟我說B100更快更便宜了？？我的錢錢又被搶了啊」。收拾起心情，想想那些買不到的人，自己還算幸運，還有生意可做啊！

兩個小時的影片中，其中透露出一個加速祕密，新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力，單片就可達 20 petaFLOPS（每秒2x10^16=20兆次浮點數計算），二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍，推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器，則 FP8 訓練能力可高達 720 petaFLOPS, FP4 推論能力更高達1.44 exaFLOPS(1,440 petaFLOPS)。這樣總體訓練及推論運算速度較前一代分別快了22倍及45倍。而究竟什麼是 FP8 / FP4 呢？ 接下來就簡單幫大家科普一下。

8位元浮點數(FP8)

一般 AI 模型有很多參數要被訓練，通常每個參數要使用32位元浮點數 (FP32) 來表示，相當於要使用 4 個位元組(Byte)，若以 GPT-3 的1750億(175B)個參數來看，就等於要使用 700 (4x175=700) GByte ，這對訓練時的記憶體需要極高。所以為了讓數值動態範圍（可表達最大到最小數字範圍）夠大，且儲存空間變小，同時加快計算速度，於是有了8位元浮點數 (FP8) 格式出現，而這項技術也第一次被 H100 加入硬體設計中。