【LLM Inside】智慧家庭AI助手 - SenseCAP Watcher群眾募資中

Posted By 陸向陽 on 10 月 3, 2024 in Edge AI應用案例, LLM, 案例研究, 陸向陽 | 0 comments

文章導覽

作者：陸向陽

2022年底ChatGPT旋風掀起不久後隨即有2樣相關電子產品受熱議，一是AI Pin，另一是Rabbit R1，兩者標榜能以更直覺便利的方式來使用LLM大語言模型服務。

不過由於部份操作體驗不佳，且與手機搭配語音助理過於類似（Apple Siri早於2011年即有），感覺是在「蹭」LLM熱度，故有人認為這類產品應算「智商稅」，此詞來自對岸，意思是因為自己笨而花了冤枉錢。

雖然如此，但近期Seeed Studio仍提出與Rabbit R1相仿的硬體，稱為SenseCAP Watcher，其價格較Rabbit R1平易，僅89美元，且搭配的LLM不一定要在雲端，也可以在本地端。

Seeed Studio認為修正後的SenseCAP Watcher較務實可行，但依然想試探各界反應，故對此發起群眾募資，期望2024年10月12日前募得1萬美元來投產，然而在9月就已達47,990美元，首批肯定投產。

Rabbit R1、SenseCAP Watcher這類的產品目前的學名是Physical AI Agent，Agent筆者過往較常譯為「代助程式」，即一種省人工的自動化軟體，因此Physical AI Agent或可先譯成：實體（是硬體不是軟體）人工智慧代助器。

技術規格

SenseCAP Watcher內主要有2顆晶片，一是Expressif ESP32S3，另一是Himax WiseEye2 HX6538，前者負責影像感測與無線傳輸（Wi-Fi與藍牙），後者負責AI運算（內含Ethos-U55的AI硬體加速電路），其他硬體配裝也包含攝影機、麥克風、喇叭、觸控螢幕等，至於SD記憶卡、電池也是不可少。

此外還有1個Grove連接器提供I2C介面，2個4孔連接器包含I2C介面、GPIO接腳與供電，以便讓SenseCAP Watch可外接各種感測器，Seeed Studio表示Grove介面的感測器已有上百種；其他還有1個與Rabbit R1類似的滾輪按鈕（稱為Push to Talk）及1顆RGB三色LED燈號。

圖2 SenseCAP Watcher上的Grove連接器可連接100種以上的Grove感測器（圖片來源：Seeed Studio）

家庭IoT與tinyML

SenseCAP Watcher的第一個應用價值，跟已有的智慧喇叭家庭IoT操控應用無太大差別，可以用無線來操控Apple的HomeKit裝置；用UART、USB介面來操控Maker愛用的Arduino、Raspberry Pi；另外也能用HTTP協定跟Maker常用的雲端平台Twilio、IFTTT等互動。

差別是SenseCAP Watcher具備tinyML能力，發話控制可以直接在機內推論判斷，不一定要連到雲端，或者可以對攝影機的影像進行推論，或對感測器數據進行推論，達到更智慧性的操控。

圖3 SenseCAP Watcher可實現條件性操控家庭IoT應用（圖片來源：Seeed Studio）

與雲端或在地LLM串連互動

SenseCAP Watcher真正與Rabbit R1大區別的，是Seeed Studio提供一套名為SenseCraft的軟體工具，該工具具有多種功能，一是維護管理SenseCAP Watcher裝置，包含幫其組態配置藍牙BLE、以無線方式更新其韌體或機內的AI模型，另外也負責一些工作編排（task orchestration）。

二是更重要的，也是SenseCAP Watcher本次的主要技術號召點，即SenseCraft提供LLM的API（應用程式介面），運用該介面可以與雲端或本地端的LLM互動，雲端主要是OpenAI或Seeed Studio官方提供的SenseCraft AI（也可以本地端），本地端則為Ollama或LLaVA、Llama3模型。

至於本地端的LLM用什麼硬體來運作執行？一是一般桌機或筆電PC，二是使用具有NVIDIA Jetson Orin模組的嵌入式系統，對此Seeed Studio推薦自家的reComputer Jetson。