Edge AI晶片10大選擇考量要點

Posted By 陸向陽 on 9 月 24, 2019 in Edge AI開發地圖, 綜論 | 0 comments

文章導覽

作者：陸向陽

人工智慧技術自 2016 年來重新熱燒，並帶動人工智慧硬體加速晶片的發展，不過這時的 AI 晶片偏重訓練用途，近 2 年來隨著訓練成熟的人工智慧神經網路模型逐漸增多，推論用的 AI 晶片也開始受到重視。

Edge AI晶片已成為市場新寵（圖片來源）

與訓練型 AI 晶片不同的是，推論型 AI 晶片分為 2 種，一種是用於電力源源不絕的環境，如桌上型電腦、資料中心機房等；另一種是用於電力有限的環境，如行動裝置，或物聯網感測現場的閘道器上。而訓練型 AI 晶片大體只用在電力不竭的環境。

Edge AI晶片選擇考量

用於現場環境的人工智慧加速晶片在此簡稱 Edge AI 晶片，Edge（端緣、邊緣）是相對詞，是把雲端視為 Core（核心）而有的稱呼。近 2 年來 Edge AI 晶片開始增多，對於有意開發邊緣人工智慧應用的創客而言當如何選擇呢？以下幾點當是首要考慮的：

1. 功耗用電

由於應用現場可取得的電力有限，所以晶片的用電必須先考量，用電量愈低愈好，不過有時是取捨，晶片可以用更高的時脈頻率運作以取得更高運算效能，但用電也會指數攀升，如果不需要太大的運算力是可以降低頻率運作，以便降低用電量。

2. 傳輸介面

如果 AI Edge 晶片只有 USB 介面，但與晶片連接的主控晶片只有 PCIe 介面，那麼也無法使用這顆 AI Edge 晶片，且主控晶片與主控系統（如物聯網閘道器）為主體，多半會選擇換替 AI Edge 晶片而非主控系統。

3. 封裝面積

AI Edge 晶片算是額外加入主控系統內的，如果為了追加放入 AI Edge 晶片而需要增加很多的印刷電路板（PCB）面積，進而增加電路板成本，甚至必須連帶改變外殼設計等，一般會被放棄採用。

Edge AI晶片多半強調低耗電、小封裝面積，圖為Hailo公司的Hailo-8晶片，僅15 x 15mm封裝面積（圖片來源：source）

4. 出貨型態

如果晶片供應商只提供模組子卡型態的出貨，而不提供未焊接的晶片出貨，則原有主控系統可能必須大幅變更設計才能放入模組子卡，變更程度過大也意味大幅增加成本，因此也可能放棄採用該 Edge AI 晶片。

5. 推論效能

Edge AI 晶片的推論效能不足也是無法採用的，以臉部辨識的門禁系統為例，預計 1 秒可以完成推論（拒絕或允許進入），總不能 10 秒後才得知結果。

6. 精度支援

AI 晶片為了因應各種應用可能，因此盡可能支援各種不同的精度運算，包含浮點數、整數等，支援的精度格式愈多，對訓練模型的開發者而言愈有開發彈性與便利，同時用更合適的精度格式進行推論運算，也意味比較不會浪費電路，通常會有較好的每瓦效能（per watt performance），此同樣有助於精省電力。如果晶片支援的精度不夠多，建議還是要挑比較合乎現在與未來應用的為主。

7. 框架支援

目前科技大廠競相訂立與推廣自己主張的人工智慧框架格式，導致格式多且紊亂，AI 晶片短期內難以支援所有格式，但為了潛在銷售機會最大化，仍會盡可能支援現在與未來可能是主流大宗的格式（如Caffe）。因此 AI 應用開發者要考慮評估晶片是否有支援自己熟悉使用的格式。

2018年OrionX.net對人工智慧框架進行調查，包含打算使用、已經使用、已是專家統合取分（圖片來源：source）

8. 應用案例

保守一點的開發者，可能希望 AI 晶片已經有實際的產業應用才比較安心採行，例如 Google 推出 Edge TPU 後，同時也宣布南韓 LG 旗下公司 LG CNS 用 Edge TPU 在智慧工廠中，澳洲業者 Smart Parking 也用於停車管理調度上，以此增強評估者的信心。

9. 技術架構

AI 晶片是原生設計的電路？或是以某些電路架構為基礎修改而成（如 GPU），或採行特有技術架構（如 PIM，Processor-in-Memory）？是針對 CNN 加速還是 DNN？還是有可程式化設計？內建的硬體資源如何？是否有其他硬體加速設計或其他硬體功效？晶片的未來技術提升空間多大？是否有展望圖（roadmap）的未來技術願景支票？一些非量化的質性特點也必須考慮。

10. 交付條件

最後跟一般晶片採行一樣要考慮各種交付條件，晶片多少錢？最少訂量多少？需幾天交貨？

Edge AI 晶片市場概況

了解上述後再來談談實務，目前主要 Edge AI 晶片如下：

主要Edge AI晶片比較（圖片來源：陸向陽提供）

由表上可以發現資訊並不完整。是的，Edge AI 晶片目前正在前期發展階段，每個晶片商都只提供片段資訊，或只說彰顯自己有利的資訊，避免被齊頭比較，市場必須進入成熟期、紅海方可能高度量化規格數據比較。

在這裡有一些傳統大廠，如 NVIDIA、Intel，Intel 的 MobileEye 方案未列在此，主要是高度訴求自駕車應用，而非各類型應用，所以不放。而只是預告卻尚未正式發表的也不放，例如華為預告會有比 Ascend 310 更低功耗的 Ascend Lite/Tiny/Nano。

當然也不放偏機房端的推論晶片，如以色列新創業者 Habana Labs 的 GOYA/HL-1000、NVIDIA 的 Tesla T4、Cambricon（寒武紀）的 MLU 系列。Xilinx（賽靈思）雖有 Zynq-7000 系列用於 Edge AI 平台，但因揭露的技術資訊過少（TOPS、TDP Watt 等）因此也暫不放入。