作者：陸向陽
今年6月份標榜只要70美元（其實經過通路後都貴上許多）的樹莓派AI套件（AI Kit）開始發售後，已經在套件內隨附許多可以執行的AI範例程式，主要是電腦視覺（Computer Vision, CV）相關的，但相隔約一個月時間再釋出利多，對於樹莓派的深入用戶而言，可以在AI套件上使用以色列AI新創公司Hailo的Dataflow編譯器，簡稱HDC（Hailo Data Compiler）。
圖1 樹莓派AI套件加掛、附搭在樹莓派上的模樣（圖片來源：樹莓派官網）
樹莓派AI套件可以用HDC其實不值得訝異，因為該套件本身用的AI硬體加速晶片就是Hailo公司Hailo-8L，Hailo公司為其自有晶片發展出一系列的軟體，稱為Hailo AI Software Suite，HDC只是Suite中的一個成員軟體，其他成員軟體還有Hailo RT、TAPPAS、Model Zoo（範例模型）等。
所謂深入的用戶，其實就是用已有的模型但改用自己的資料（數據集）來重新訓練模型，此可稱為自帶資料（Bring Your Own Data, BYOD），或者是已經有模型期望在AI套件上使用模型，此可稱為自帶模型（Bring Your Own Model, BYOM）。
若是後者，用戶可以把本來TensorFlow Lite模型（Google力主）或ONNX格式的模型（Microsoft力主）透過HDC進行重新編譯與轉換，轉換成 .HEF格式，而後能在樹莓派AI套件上加速執行、推論，不過這個轉換需要具有較多技術背景的人，方能順利完成轉換。
圖2 Hailo AI Software Suite的4個成員軟體（圖中4大塊水藍色），其中開發上有Dataflow Compiler編譯器軟體及Hailo Model Zoo範例模型，執行上則有Haolo RT函式庫及TAPPAS範例程式。另有Hailo-8韌體（不算Suite內的成員）是在Hailo硬體AI加速晶片內（圖片來源：Hailo官網）
小結
另外也有用戶詢問能不能用這款AI套件來跑Whisper、Stable Diffusion等？答案目前為否，Hailo官方現階段僅表示將努力嘗試把這些模型轉換、移植到套件上來執行。
最後樹莓派官方也預告很快會讓AI套件支援Python與Picamera2，且為全面支援，以及會附帶提供範例（example）程式、展示（DEMO）程式。
- 創客積木M5Stack加入LLM戰局 - 2024/11/29
- MLPerf大語言模型、生成式AI測項觀察 - 2024/11/27
- Sony強力加持！樹莓派發表專屬AI攝影機 - 2024/10/28
.jpg)
.jpg)