作者：歐敏銓
微軟日前（2023/12/14）與Intel共同宣佈，2024年將會更新DirectML，其技術亮點是將支援NB/PC處理器架構中的神經運算單元（NPU），讓AI開發者可在Windows上使用NPU加速AI推論應用的處理效能，並分擔CPU及GPU的負載，進而落實AI PC的差異化使用體驗。
DirectML是一個低階且硬體抽象化的API，能夠直接存取GPU等各類加速器，執行機器學習計算。其屬於DirectX家族，DirectX主要用於Windows平臺上的圖形與遊戲開發，而DirectML則專注於機器學習工作負載。DirectML也能夠和其他機器學習框架和工具整合，像是跨平臺推理引擎ONNX Runtime和Windows機器學習模型最佳化工具Olive。
DirectML工作流程圖（Source）
Intel的AI PC解決方案
相應於新版DirectML的Intel方案即是代號為Meteor Lake的新一代Core Ultra處理器，其架構中即整合了前身為Movidius VPU的NPU，能夠以更省電方式提供低功耗的AI推論能力，Intel指出，相較於前一代處理器，當執行AI工作負載時，可以獲得高達8倍功耗效率的改善，特別適用於處理需要持續性的AI應用或AI卸載任務。
Intel Core Ultra功能架構圖（Source）
Intel NPU獲得DirectML支援便能讓開發者透過ONNX Runtime等API，將人工智慧模型轉移到NPU上執行，提供在Windows上執行人工智慧工作負載另一種選擇。開發者加入ONNX生態系即可使用ONNX Model Zoo的模型、英特爾Neural Compressor與ONNX Runtime等工具。支援NPU的DirectML預計在2024年初，與最新的ONNX Runtime版本一起釋出。
AMD的AI PC布局
值得關注的是，相較於Intel，其對手AMD又有何布局呢？
AI PC的換機潮大餅在2024年有望出現，AMD顯然不可能不進來分一杯羹。事實上，AMD在本月初才推出代號 Hawk Point的9款處理器，它是 Ryzen 8040 系列行動處理器的首批產品，也是現在 Ryzen7040 系列 Phoenix 的升級版本。（相關報導）
根據 AMD 的說法，Hawk Point 和 Phoenix 一樣採用台積電 6 奈米製程技術，CPU 為 Zen 4 架構，GPU 是 RDNA 3 架構，這些和上代產品是一樣的。但是，Ryzen AI 更名為 NPU， 並且擁有更強的算力，但依然是 XDNA 架構。和現在的 Ryzen 7040 系列相比，Ryzen 8040 系列最大的提升是 NPU 的性能有明細的提升，從 10 TOPS 增加到 16 TOPS，這讓生成式 AI 工作性能提升了40%。
（Source）
有了NPU硬體方案自然也需相應的開發環境，軟體開發人員才能夠將機器學習模型部署到他們的軟體中。相較於Intel的OpenVINO，AMD在這一塊的進度顯然慢了不少，本(12)月初終於發表了其1.0版的Ryzen™ AI 軟體，其特色為支援開源 ONNX Runtime 機器學習加速器，其中包括對混合精度量化的支持，包括 UINT16/32、INT16/32 和 FLOAT16 浮點格式。
AMD Ryzen™ AI 軟體使應用程式能夠在構建於AMD XDNA™ 架構中的神經處理單元(NPU) 上運行，開發流程如下：開發者先在雲端使用 PyTorch、TensorFlow 或 ONNX 框架訓練好模型後，可以下載到AMD支援NPU的筆電或PC，運用Ryzen AI 軟體中整合的開源AI 框架Vitis AI Execution Provider (EP) ，透過量化器將模型量化為 INT8 並以 ONNX 格式儲存，或將 Microsoft Olive 與 Vitis AI 量化器作為插件結合使用，最後再進行應用部署。
(Source)
小結
整體而言，不論是Intel或AMD，都已針對AI PC世代提出了相應的硬體方案及開發工具，讓開發者能夠運用它們來創建AI PC的創新功能，例如實現手勢識別、生物辨識身份驗證等應用，以及發展出AIGC及LLM的衍生應用，例如Adobe的設計工具已開始導入AIGC的功能。此外，NPU搭配AI推論工具也成了AI PC中必要的架構，能提升AI模型的推論效益，從而釋放 CPU 和 GPU 資源用於其他計算任務，有助於延長電池的續航力。
不過，關鍵還是在於讓使用者有感的差異化應用，你會想用AI PC來做什麼呢？
- 【白皮書導讀】嵌入式AI落地，ARM NPU工作架構剖析 - 2024/01/09
- AI PC市場大餅浮現，Intel、AMD為開發者做好準備了？ - 2023/12/20
- 目前有哪些大型程式語言模型 （Code LLM）可用？StarCoder、Code Llama、Codex！ - 2023/11/23
