|

創客開發板AI加速晶片觀察

   

作者:陸向陽

由於各界都看好Edge AI與AI推論市場,故有許多新創晶片商都投入發展,每年Computex展上都可以看到他們的身影,如南韓DeepX、美國Kneron、日本EdgeCortix、美國SiMa.ai等,而未在Computex展現身的也有澳洲BrainChip、印度NetraSemi 等。

不過有些Edge AI晶片、AI推論晶片明顯是針對資料中心伺服器或比較大型的物聯網閘道器等而設計,其晶片功耗通常70瓦以上,甚至150瓦、300瓦,不適合用於創客的單板電腦,例如美國TensTorrent、美國SambaNova等。

而適合用於創客單板電腦的小功耗晶片,其實真正進入主流創客開發板的,目前僅有數款,本文以下將對此進一步說明。

Arduino

義大利Arduino為了加速進入產業實務應用市場在2020年1月提出Arduino Pro新系列產品,並在2024年12月與荷蘭Edge AI新創晶片商Axelera AI公司合作,將Axelera AI公司的Metis AI晶片用於Arduino Pro系列中的Portenta X8開發板上。

圖1 搭配Arduino Pro Protenta X8使用的Axelera AI晶片卡(圖片來源:Axelera)

即便是之後美國Qualcomm購併了Arduino,並隨即推出Arduino UNO Q開發板,該板的主控晶片為Qualcomm Dragonwing QRB2210,並不具備AI硬體加速電路,若用其跑AI程式只能用晶片內的CPU與DSP,效能有限,故目前來看仍會以Axelera AI的晶片為主。

不過Arduino與Axelera AI的合作似乎只在最初的新聞發佈,之後Arduino官網的相關硬體資訊上似乎都找不到Axelera AI的資訊,或許後續會有更多外部晶片商合作,或等待Qualcomm提出合適方案。

Raspberry Pi

英國Raspberry Pi在2024年為其單板電腦推出AI Kit硬體擴充套件,從而開始引入以色列Hailo公司的Hailo-8L晶片,提供13TOPS的AI推論效能(INT8精度),之後AI Kit改名AI HAT+。

之後Raspberry Pi把AI HAT+的晶片從Hailo-8改成Hailo-8,效能提升至26TOPS(INT8精度),更之後Raspberry Pi再推出AI HAT+ 2,晶片改用Hailo-10H,其INT4精度效能40TOPS,INT8則為20TOPS,10H主要能支援大語言模型、生成式AI應用,此前為識別式AI應用(識別圖片、語音等)為主。

圖2 可附搭在Raspberry Pi 5上並帶來AI加速效果的Raspberry Pi AI HAT+ 2(圖片來源:Raspberry Pi官網)

很明顯的Raspberry Pi不僅在Edge AI晶片方案上較Arduino早成軍,且與Hailo間已有多次配合,短期內Raspberry Pi應會持續使用以色列Hailo公司的晶片

M5Stack

M5Stack(明棧信息)的多數主控晶片來自Espressif(樂鑫)的ESP32系列,近年來也開始引入AI硬體加速技術,2024年為其Stack系列核心控制器推出LLM,模組內的AI加速晶片為Axera(愛芯元智)的AX630C,INT8精度下效能為3.2TOPS。

不僅如此,M5Stack也用Axera AX630C晶片開發出M5Stack LLM630運算套件,讓AX640C為主控晶片而非輔助的AI加速晶片,另外使用Axera更先進的AX8850晶片開發出AI-8850 LLM Accelerator M.2套件,與前述的Raspberry Pi AI Kit/HAT+等相同,用於連接Raspberry Pi單板電腦。AX8850在INT8精度下有24TOPS效能,其實明顯勝過Hailo-8L而與Hailo-8、Hialo-H相當。

 

圖3 M5Stack的AI-8850 LLM Acceleration M.2套件(4GB記憶體版)可連接Raspberry Pi(圖片來源:M5Stack官網)

進一步的,M5Stack也用AX8850推出一款金字塔造型的電腦稱為AI Pyramid Computing Box,除了最初的LLM模組,上述帶有AI晶片的產品均歸屬在新的產品類別,屬於AI硬體類。

 

圖4 M5Stack的金字塔型AI電腦AI Pyramid Pro(圖片來源:M5Stack官網)

由此可知M5Stack明顯與Axera合作,不過M5Stack還是有一款產品使用他廠晶片,即M5Stack ASR,使用ChipIntelli(啟英泰倫)公司的CI1302晶片,該晶片專注於AI語音應用,難以用在影像AI、生成式AI等應用。

Orange Pi

Orange Pi(香橙派)的單板電腦發展策略明顯類同於Raspberry Pi,例如也有1代、2代等開發板的世代別,也有Zero的相對陽春版等。Orange Pi在第四、第五代開始加入AI硬體加速能力。如Orange Pi 4A因使用AllWinner(全志科技)的T527晶片,晶片內的NPU有初步的2TOPS效能(INT8)。或有Orange Pi RV2單板也有2TOPS效能(使用特別的Ky x1晶片,精度不明)。

而第五代的Orange Pi在頂規版(32GB)上開始加入AI硬體加速要素,運用Rockchip(瑞芯微)的RK3588S晶片內的NPU電路能有6TOPS效能(允許INT4/INT8/INT16多種精度混合運算)。

後來也有用Huawei(華為)Ascend(昇騰)310晶片推出OrangePi AI Studio、Orange Pi AI Studio Pro、Orange Pi AI Staion等盒狀電腦或單板,而Orange Pi 6/6 Plus則是使用CIX(此芯科技)的P1晶片而有45TOPS(須同時用上晶片內的CPU、GPU、NPU等單位)的效能。

 

圖 5 Orange Pi 6 Plus開發板具有45TOPS效能(圖片來源:Orange Pi)

整體而言Orange Pi使用多家晶片,但似乎都是使用板卡主控處理器中的內建加速單元,而非額外附加擴充。

結語

至此很明顯的,創客常用的單板電腦基本上都有AI附加選項了,或直接成為原生功能,而且很明顯都已經進入生成式AI,而非單純的識別式AI,如此未來的應用必然更具變化與廣闊。

(責任編輯:謝嘉洵)

陸向陽

訂閱MakerPRO知識充電報

與40000位開發者一同掌握科技創新的技術資訊!

Author: 陸向陽

從電子科系畢業後,即以媒體人的角色繼續這段與「電子科技」的不解之緣。歷任電子技術專書作者、電子媒體記者、分析師等角色,並持續寫作不殆。近來投入Arduino、Raspberry Pi等開放硬體的研究與教程介紹。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *