作者：陸向陽
圖1 樹莓派AI套件的硬體為一個PCIe對M.2介面的轉接器及一張M.2介面的模組子卡（圖片來源：樹莓派官網）
第五代樹莓派（RPi 5）有個特點，那就是具備PCI Express（PCIe）2.0介面，不過樹莓派基金會在設計RPi 5時希望維持電路板的嬌小特點，沒有使用一般電腦上已普遍使用的標準PCIe插槽，而是改用一個專屬連接器，透過該連接器再行轉接。
70美元的AI套件
一般認為該PCIe介面會用來連接固態硬碟，畢竟RPi 5效能大幅提升，持續使用microSD記憶卡當硬碟實在委屈，不過既然是PCIe介面就有各種連接可能，而近期（英國時間6月4日）基金會就發表了一個70美元的人工智慧（AI）套件，該套件附有一個轉接器，將RPi 5特有PCIe連接器轉成M.2介面，這稱之為Raspberry Pi M.2 HAT+（註1），然後再與M.2介面的AI推論加速模組子卡連接，讓RPi 5系統獲得AI推論的硬體加速能力。
註1：Raspberry Pi M.2 HAT+也有單獨出售，筆者查詢了美國DigiKey約12美元，主要設想還是用來連接M.2介面固態硬碟。
AI套件的重點是在模組子卡，該子卡上有一顆以色列新創公司Hailo的AI推論硬體加速晶片Hailo-8L，實際上是該公司過去Hailo-8晶片的降規版，Hailo-8的推論效率約為26TOPS（8位元整數精度而言），而Hailo-8L則降至13TOPS，晶片功耗也從2.5瓦降到1.5瓦。
圖2 模組子卡上主要是一顆以色列Hailo公司的Hailo-8L推論加速晶片（圖片來源：樹莓派官網）
為何會有降規版晶片？對此筆者只能推測，有可能是客戶反應有些AI推論應用不需要到26TOPS那麼高的效能，如此何不推出一個更平價、更省電的版本給客戶？或者可能晶片生產上有若干良率問題，若僅少部份電路壞損就讓整顆晶片報廢也有些可惜，在主功能無大礙下是可以改訴求低規、低價版。
除了Hailo-8、Hailo-8L外，Hailo公司也有Hailo-8R晶片、針對AI視覺應用特別強化的Hailo-15晶片，甚至針對生成式AI應用而推出Hailo-10H晶片。
雖然是用以色列晶片，但這是基金會官方自己推行的AI硬體套件，並且標榜無論是不是使用基金會官方的攝影機AI套件都可以支援運作，一顆Hailo-8L晶片在一個攝影機下同時支援多個視覺影像模型的推論，或者是兩個攝影機下同時支援一個模型或多個模型的推論。
圖3 先搭裝上轉接器，而後在轉接器上安裝模組子卡（圖片來源：樹莓派官網）
除了硬體晶片外套件裡另一個重點是軟體，Hailo公司隨Hailo-8L晶片提供豐富的預訓練模型可供運用，一堆預訓練模型的集合也稱為模型動物園（Model Zoo）；同時基金會官方也針對攝影機應用提供rpicam-apps suite的軟體套餐，裡頭有即時攝影機推論的後處理範本（post-processing template）可用；或者也有Hailo公司的TAPPAS的後處理函式庫可用。有了這些只要再行撰寫幾百行C++程式碼就可以實現一個AI電腦視覺應用，而這些軟體整合很快也會套用到樹莓派官方的Picamera2上。
不僅是rpicam-apps或Picamera2，AI套件也能用在其他框架上，如GStreamer框架，或者供Python、C++撰寫成的應用程式以API呼叫方式取用。另外上述這些軟體的安裝也很方便，使用Debian Linux常見的應用程式套件（package）安裝方式即可，即是用apt下達命令列安裝，安裝完重新啟動RPi 5便可使用。
圖4 Hailo公司針對其晶片提供完整的軟體支援，如Hailo模型動物園、TAPPAS範例應用程式，另外也包含編譯器、執行階段的軟體等（圖片來源：Hailo官網）
小結
最後，不知道基金會是只推行一款硬體AI套件，還是未來會廣泛推出不同晶片商的套件，畢竟現在Edge AI的推論晶片相當多廠商投入。但也可能怕創客眼花撩亂、選擇無力，短期內只讓創客用戶熟悉一款軟硬體，而集中心力推Hailo方案。
無論基金會態度如何，既然在官方已如此示範，估計會有許多協力商推出類似方案，一樣透過M.2介面介接加速晶片，且讓我們拭目以待。
延伸閱讀：
https://www.raspberrypi.com/documentation/accessories/ai-kit.html#getting-started
樹莓派AI套件的起步說明（英文）
https://www.youtube.com/watch?v=m0O1r1ijFjk
https://www.youtube.com/watch?v=-huMW13Fp7U
樹莓派AI套件應用：物體識別
https://www.youtube.com/watch?v=xL013eHuSeI
樹莓派AI套件應用：人體姿態推估
https://www.youtube.com/watch?v=2xOogME0Ah4
樹莓派AI套件應用：畫面主體細分
- 利用Ollama速成本機端LLM大對話應用 - 2024/09/25
- 2GB、50美元！第五代樹莓派降規降價 - 2024/09/11
- 【Crowd Funding】具有 AI 加速器的強大 5G 單板電腦 – Tachyon - 2024/08/29
.jpg)
.jpg)