作者：陸向陽
圖1：可加搭在樹莓派上方的AI加速模組Raspberry Pi AI HAT+（圖片來源：樹莓派）
關於以色列新創晶片商Hailo公司相信許多自造者、創客（Maker）已略有耳聞，因為該公司專門設計與銷售Edge AI的硬體加速晶片，如Hailo-8、Hailo-8L，或是直接內含處理器的Hailo-15等。
不過Hailo的加速晶片通常是用在電腦視覺（Computer Vision, CV）相關的人工智慧應用上，例如用攝影機觀看到一個畫面後，能從畫面中標示出是否有人？有多少人？有沒有人沒配戴工地帽等，諸如此類的。
由於Hailo的晶片逐漸受歡迎並打開知名度，同時創客廣泛愛用的樹莓派（Raspberry Pi）單板電腦在AI運算上的效能不足，故樹莓派公司與Hailo合作，推出Raspberry Pi AI Kit、Raspberry Pi AI HAT+兩款加速模組，只要將加速模組加裝到樹莓派上，即可讓樹莓派電腦獲得AI加速效果。
至於兩款加速模型有何差異？主要是配置的晶片不同，前者為Hailo的Hailo-8L晶片，後者為Hailo-8晶片，兩者推論速度差一倍，即13TOPS vs. 26TOPS（一般指INT8精度），但是前者功耗較低（1.5瓦 vs. 2.5瓦）、價格較低（新台幣約2,600元 vs. 3,850元）。
另外AI Kit其實是以Raspberry Pi M.2 HAT+擴充板再加裝上一片M.2介面的Hailo-8L加速模組而成，是透過再轉接的，而AI HAT+則是直接與樹莓派連接，不需要再透過M.2 HAT+擴充板。
Hailo展示LLM語音應用
或許是為了改變大眾對於Hailo較適合用於電腦視覺AI的印象，Hailo官方發言人技術展示了一段不是電腦視覺的Hailo晶片應用，Hailo官方用樹莓派與Raspberry Pi AI HAT+搭配，然後接上一個USB介面的麥克風，嘗試實現語音識別應用，語音識別已歸算在自然語言處理（Natural Language Processing, NLP）領域的AI應用。
Hailo官方使用OpenAI開發並開放的Whisper，Whisper是使用大語言模型（Large Language Model, LLM）技術實現的語音識別AI模型，更具體而言Hailo的官方實證是使用tiny-whisper-encoder、tiny-whisper-decoder模型。Hailo官方先錄一段約10秒的語音然後給Whisper識別，約數秒鐘的處理後正確輸出文字。
圖2：技術示範是先用遠端桌面連線連至樹莓派（圖片來源：Hailo於YouTube）
圖3：以網頁介面方式錄音，而後辨識出的文字也直接輸出在網頁畫面上（圖片來源：Hailo於YouTube）
技術實證相當簡單，甚至可以說是最簡單的語音識別示範，但在這裡有兩個重點，一是能否即時語音轉成文字？目前的實證並沒有做到，不過Hailo官方已表示會持續精進。
另一個重點是Hailo晶片是否真的幫樹莓派分勞解憂？亦即本來要由樹莓派主控晶片執行處理的語音識別工作，是否真的轉交給Hailo晶片來代勞，使主控晶片有較多效能餘裕做其他事，對此答案是肯定的，確實有把工作卸載（off-load）給Hailo晶片。
另外，Hailo方面也表示技術示範雖然是用Raspberry Pi AI HAT+，但其實也可相容用在Raspberry Pi AI Kit上，畢竟語音識別的應用負擔並不大，使用Hailo-8或Hailo-8L晶片差異不大。
後續可能延伸
Hailo官方發言人只是很初步的技術示範，但畢竟Hailo-8晶片有26TOPS的效能，後續也不排除可以直接在樹莓派上執行大語言模型的可能，特別是一些已經瘦身過的模型更有機會，或是參數量在70億（7B）以下，權重精度在8位元整數（INT8）以下的，估計將有望用於8GB記憶體的樹莓派上。
因為INT8、7B是有機會將模型容量控制在7GB左右，如此只要樹莓派的作業系統（Raspberry Pi OS）夠輕量，沒有預先載入過多的服務或開啟其他應用程式，是有機會在8GB版樹莓派上執行該模型的。或者，現在許多模型也將精度降至INT4，如此也能壓在4GB左右，或嘗試更少參數量的模型等。
事實上Hailo也有一顆針對生成式人工智慧（Generative AI, GenAI）的晶片，即Hailo-10H，精度INT4時可以有40TOPS效能，功耗3.5瓦，或許後續也有可能用於樹莓派。
延伸閱讀
（本篇文章經同意轉載自vMaker，原文連結；責任編輯：謝嘉洵。）
- 從主控晶片檢視NVIDIA AIPC：DGX Spark、DGX Station - 2025/04/25
- Hailo在樹莓派上實證LLM技術的語音識別 - 2025/04/18
- GTC 2025技術觀察：GR00T N1、Newton、BDX Blue - 2025/04/09
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊！
