Edge AI晶片10大選擇考量要點

作者:陸向陽

人工智慧技術自 2016 年來重新熱燒,並帶動人工智慧硬體加速晶片的發展,不過這時的 AI 晶片偏重訓練用途,近 2 年來隨著訓練成熟的人工智慧神經網路模型逐漸增多,推論用的 AI 晶片也開始受到重視。

Edge AI晶片已成為市場新寵(圖片來源

與訓練型 AI 晶片不同的是,推論型 AI 晶片分為 2 種,一種是用於電力源源不絕的環境,如桌上型電腦、資料中心機房等;另一種是用於電力有限的環境,如行動裝置,或物聯網感測現場的閘道器上。而訓練型 AI 晶片大體只用在電力不竭的環境。

Edge AI晶片選擇考量

用於現場環境的人工智慧加速晶片在此簡稱 Edge AI 晶片,Edge(端緣、邊緣)是相對詞,是把雲端視為 Core(核心)而有的稱呼。近 2 年來 Edge AI 晶片開始增多,對於有意開發邊緣人工智慧應用的創客而言當如何選擇呢?以下幾點當是首要考慮的:

1. 功耗用電

由於應用現場可取得的電力有限,所以晶片的用電必須先考量,用電量愈低愈好,不過有時是取捨,晶片可以用更高的時脈頻率運作以取得更高運算效能,但用電也會指數攀升,如果不需要太大的運算力是可以降低頻率運作,以便降低用電量。

2. 傳輸介面

如果 AI Edge 晶片只有 USB 介面,但與晶片連接的主控晶片只有 PCIe 介面,那麼也無法使用這顆 AI Edge 晶片,且主控晶片與主控系統(如物聯網閘道器)為主體,多半會選擇換替 AI Edge 晶片而非主控系統。

3. 封裝面積

AI Edge 晶片算是額外加入主控系統內的,如果為了追加放入 AI Edge 晶片而需要增加很多的印刷電路板(PCB)面積,進而增加電路板成本,甚至必須連帶改變外殼設計等,一般會被放棄採用。

Edge AI晶片多半強調低耗電、小封裝面積,圖為Hailo公司的Hailo-8晶片,僅15 x 15mm封裝面積(圖片來源:source

4. 出貨型態

如果晶片供應商只提供模組子卡型態的出貨,而不提供未焊接的晶片出貨,則原有主控系統可能必須大幅變更設計才能放入模組子卡,變更程度過大也意味大幅增加成本,因此也可能放棄採用該 Edge AI 晶片。

5. 推論效能

Edge AI 晶片的推論效能不足也是無法採用的,以臉部辨識的門禁系統為例,預計 1 秒可以完成推論(拒絕或允許進入),總不能 10 秒後才得知結果。

6. 精度支援

AI 晶片為了因應各種應用可能,因此盡可能支援各種不同的精度運算,包含浮點數、整數等,支援的精度格式愈多,對訓練模型的開發者而言愈有開發彈性與便利,同時用更合適的精度格式進行推論運算,也意味比較不會浪費電路,通常會有較好的每瓦效能(per watt performance),此同樣有助於精省電力。如果晶片支援的精度不夠多,建議還是要挑比較合乎現在與未來應用的為主。

7. 框架支援

目前科技大廠競相訂立與推廣自己主張的人工智慧框架格式,導致格式多且紊亂,AI 晶片短期內難以支援所有格式,但為了潛在銷售機會最大化,仍會盡可能支援現在與未來可能是主流大宗的格式(如Caffe)。因此 AI 應用開發者要考慮評估晶片是否有支援自己熟悉使用的格式。

2018年OrionX.net對人工智慧框架進行調查,包含打算使用、已經使用、已是專家統合取分(圖片來源:source

8. 應用案例

保守一點的開發者,可能希望 AI 晶片已經有實際的產業應用才比較安心採行,例如 Google 推出 Edge TPU 後,同時也宣布南韓 LG 旗下公司 LG CNS 用 Edge TPU 在智慧工廠中,澳洲業者 Smart Parking 也用於停車管理調度上,以此增強評估者的信心。

9. 技術架構

AI 晶片是原生設計的電路?或是以某些電路架構為基礎修改而成(如 GPU),或採行特有技術架構(如 PIM,Processor-in-Memory)?是針對 CNN 加速還是 DNN?還是有可程式化設計?內建的硬體資源如何?是否有其他硬體加速設計或其他硬體功效?晶片的未來技術提升空間多大?是否有展望圖(roadmap)的未來技術願景支票?一些非量化的質性特點也必須考慮。

10. 交付條件

最後跟一般晶片採行一樣要考慮各種交付條件,晶片多少錢?最少訂量多少?需幾天交貨?

Edge AI 晶片市場概況

了解上述後再來談談實務,目前主要 Edge AI 晶片如下:

主要Edge AI晶片比較(圖片來源:陸向陽提供)

由表上可以發現資訊並不完整。是的,Edge AI 晶片目前正在前期發展階段,每個晶片商都只提供片段資訊,或只說彰顯自己有利的資訊,避免被齊頭比較,市場必須進入成熟期、紅海方可能高度量化規格數據比較。

在這裡有一些傳統大廠,如 NVIDIA、Intel,Intel 的 MobileEye 方案未列在此,主要是高度訴求自駕車應用,而非各類型應用,所以不放。而只是預告卻尚未正式發表的也不放,例如華為預告會有比 Ascend 310 更低功耗的 Ascend Lite/Tiny/Nano。

當然也不放偏機房端的推論晶片,如以色列新創業者 Habana Labs 的 GOYA/HL-1000、NVIDIA 的 Tesla T4、Cambricon(寒武紀)的 MLU 系列。Xilinx(賽靈思)雖有 Zynq-7000 系列用於 Edge AI 平台,但因揭露的技術資訊過少(TOPS、TDP Watt 等)因此也暫不放入。

Xilinx的Edge AI平台方案,底層為Zynq系列晶片(以FPGA為核心基礎)(圖片來源:source

附帶一提的是,GTI、Hailo、Syntiant 等為新創業者,其中 GTI 又以對岸華裔成員為多,國區競爭關係也可能影響評估選擇,如從嚴或規避使用華為晶片。還有一些新創業者尚未正式發表晶片產品,如AIStorm、Cornami、Mythic 等,都值得期待。

(責任編輯:楊子嫻)

陸向陽

從電子科系畢業後,即以媒體人的角色繼續這段與「電子科技」的不解之緣。歷任電子技術專書作者、電子媒體記者、分析師等角色,並持續寫作不殆。近來投入Arduino、Raspberry Pi等開放硬體的研究與教程介紹。
陸向陽

Author: 陸向陽

從電子科系畢業後,即以媒體人的角色繼續這段與「電子科技」的不解之緣。歷任電子技術專書作者、電子媒體記者、分析師等角色,並持續寫作不殆。近來投入Arduino、Raspberry Pi等開放硬體的研究與教程介紹。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *