作者：陸向陽
圖1 Raspberry Pi AI Camera（圖片來源：樹莓派官網）
樹莓派本來就有官方的攝影機（或稱影像感測器image sensor）模組，已經推到第三代，但就在九月底樹莓派官方再推出人工智慧攝影機Raspberry Pi AI Camera（事實上此前的三月份嵌入式世界Embedded World大會期間已略有展示），建議價70美元，RPi AI Camera與原有的攝影機有何不同？本文將對此推探。
減輕主晶片的運算負荷
RPi AI Camera第一重點是使用Sony的IMX500智慧視覺感測器（Intelligence Vision Sensor），感測器內除了有1,230萬畫素的影像感測器外還有專屬的硬體加速電路（DSP）跟專屬的8MB記憶體（SRAM）（註1），如此在進行AI相關電腦視覺（CV）運算上可大幅降低對主處理器、主控制器的倚賴。
註1：其實模組上還有一顆樹莓派專屬的控制器晶片RP2040，即Raspberry Pi Pico的主晶片，但該晶片在模組中是負責神經網路管理與模組韌體管理等工作。
圖2 Raspberry Pi AI Camera模組上的RP2040控制器晶片（圖片來源：樹莓派官網）
如果是第五代樹莓派（RPi 5），其實可以透過在六月份發表的人工智慧套件RPi AI Kit來獲得硬體加速，但如果是更早先的樹莓派單板電腦，因為不具備PCIe介面，無法加裝RPi AI Kit（註2），那就真的只能使用RPi AI Camera了。
註2：如果PCIe介面已經拿去連接其他裝置，通常是固態硬碟SSD，那也是只能使用RPi AI Camera，除非再用上一些變通的分接技巧則另當別論。
事實上多數的Edge AI、TinyML應用都與電腦視覺有關，若是傳統自然語言處理（NLP）應用，其所需的運算力通常不用太多，甚至可能不需要硬體加速器，至於資料科學（DS）應用則較少用於Edge AI、TinyML。
若是近一、二年開始走紅的大型語言模型（LLM）、生成式人工智慧（GenAI）等，業界一般認定需要40TOPS以上的運算力才能務實地即時反應，如此即便用上RPi AI Kit也是效能不足，AI Kit約13TOPS。而RPi AI Camera更是針對CV應用為主，其硬體加速特性不易在LLM、GenAI發揮。
Sony讓創客輕鬆轉向產業實務應用
Sony不僅提供IMX500硬體還提供配套的開發軟體與服務平台，開發軟體為Brain Builder for AITRIOS（Local Studio），服務平台為AITRIOS。
開發軟體安裝在開發者端的電腦裡，可以讓開發者快速有效地進行圖片資料標記、有效地訓練AI模型，Sony官方強調不用寫程式（No Code），只要四步驟就能讓模型從新增到佈署，步驟分別是1) 選擇資料集 2) 開始訓練 3) 檢視訓練成效 4) 模型輸出。另外，開發軟體可以把過往用TensorFlow或PyTorch等框架訓練成的模組轉換過來使用。
至於AITRIOS平台可以讓管理者大規模地管理裝置與模型、可以在平台上建立各項專案、設定專案成員角色與權限、在線上市集（Marketplace）購買現成可用的應用程式等。
尺寸厚度略要注意
與過往樹莓派攝影機模組相同的，RPi AI Camera也是用CSI介面與樹莓派連接，而且模組的長寬尺寸也跟過往的攝影機模組相同，這表示本來的專案理論上可以直接拆起原有的攝影機，改換裝新的RPi AI Camera。
圖3 Raspberry Pi AI Camera用軟板接上樹莓派的CSI連接器介面（圖片來源：樹莓派官網）
不過，因為RPi AI Camera有AI加速設計，即前述的硬體加速電路、記憶體等，所以厚度是比過往的模組厚一些。所以，如果過往的專案若內部空間很緊湊，攝影模組背面真的沒有太多的實體餘裕空間，也是無法換用RPi AI Camera的。
結語
歸結而言，樹莓派官方推出Raspberry Pi AI Kit、AI Camera，背後倚仗的是以色列Hailo公司Hailo-8L晶片及其配套軟體，以及日本Sony公司IMX500感測器及其配套軟體與平台，顯示樹莓派官方加速擁抱Edge AI、TinyML。
然而這也顯示，雖然樹莓派走向專屬處理器、控制器路線（背後是Broadcom的技術支援），但現有專屬處理器、控制器難以延伸到Edge AI、TinyML領域，快速接軌援引合用的軟硬體才是上策，以免錯失市場機會。
（本篇文章經同意轉載自vMaker，原文連結；責任編輯：謝嘉洵。）
- 創客積木M5Stack加入LLM戰局 - 2024/11/29
- MLPerf大語言模型、生成式AI測項觀察 - 2024/11/27
- Sony強力加持！樹莓派發表專屬AI攝影機 - 2024/10/28
.jpg)
.jpg)