圖1：可加搭在樹莓派上方的AI加速模組Raspberry Pi AI HAT+（圖片來源：樹莓派）
創客廣泛愛用的樹莓派（Raspberry Pi）單板電腦在AI運算上的效能不足，故樹莓派公司與Hailo合作，推出Raspberry Pi AI Kit、Raspberry Pi AI HAT+兩款加速模組，只要將加速模組加裝到樹莓派上，即可讓樹莓派電腦獲得AI加速效果。
至於兩款加速模型有何差異？主要是配置的晶片不同，前者為Hailo的Hailo-8L晶片，後者為Hailo-8晶片，兩者推論速度差一倍，即13TOPS vs. 26TOPS（一般指INT8精度），但是前者功耗較低（1.5瓦 vs. 2.5瓦）、價格較低（新台幣約2,600元 vs. 3,850元）。
另外AI Kit其實是以Raspberry Pi M.2 HAT+擴充板再加裝上一片M.2介面的Hailo-8L加速模組而成，是透過再轉接的，而AI HAT+則是直接與樹莓派連接，不需要再透過M.2 HAT+擴充板。
Hailo展示LLM語音應用 #
或許是為了改變大眾對於Hailo較適合用於電腦視覺AI的印象，Hailo官方發言人技術展示了一段不是電腦視覺的Hailo晶片應用，Hailo官方用樹莓派與Raspberry Pi AI HAT+搭配，然後接上一個USB介面的麥克風，嘗試實現語音識別應用，語音識別已歸算在自然語言處理（Natural Language Processing, NLP）領域的AI應用。
Hailo官方使用OpenAI開發並開放的Whisper，Whisper是使用大語言模型（Large Language Model, LLM）技術實現的語音識別AI模型，更具體而言Hailo的官方實證是使用tiny-whisper-encoder、tiny-whisper-decoder模型。Hailo官方先錄一段約10秒的語音然後給Whisper識別，約數秒鐘的處理後正確輸出文字。
圖2：技術示範是先用遠端桌面連線連至樹莓派（圖片來源：Hailo於YouTube）
圖3：以網頁介面方式錄音，而後辨識出的文字也直接輸出在網頁畫面上（圖片來源：Hailo於YouTube）
技術實證相當簡單，甚至可以說是最簡單的語音識別示範，但在這裡有兩個重點，一是能否即時語音轉成文字？目前的實證並沒有做到，不過Hailo官方已表示會持續精進。
另一個重點是Hailo晶片是否真的幫樹莓派分勞解憂？亦即本來要由樹莓派主控晶片執行處理的語音識別工作，是否真的轉交給Hailo晶片來代勞，使主控晶片有較多效能餘裕做其他事，對此答案是肯定的，確實有把工作卸載（off-load）給Hailo晶片。
另外，Hailo方面也表示技術示範雖然是用Raspberry Pi AI HAT+，但其實也可相容用在Raspberry Pi AI Kit上，畢竟語音識別的應用負擔並不大，使用Hailo-8或Hailo-8L晶片差異不大。
延伸閱讀 #
（原文連結）
