|

項鍊型人工智慧Omi開發技術解析

   

作者:陸向陽

圖1 Omi項鍊型穿戴式電子,標榜開放原碼、人工智慧等特點(圖片來源:Omi官網)

Omi是個項鍊型的穿戴式電子裝置,裝置上有喇叭、麥克風,可提供多種語音應用,如發話問天氣、錄音、口譯等,且允許大家以Omi為基礎持續發想、實現更多應用。

為了鼓勵更多人開發、實現Omi專屬的應用,Omi在諸多方面都採開源(開放原始程式碼)態度,本文就從技術角度來檢視Omi採行了哪些開源作法,讓廣大的Maker更有興趣接觸與評估Omi,以下分裝置、手機、後端三部份來說明。

裝置

裝置自然是Omi裝置,Omi的項鍊狀外殼是可以3D列印(或稱打印)實現的,網上有.stl檔案可下載而後自行列印,然後內部有4個電子零件:一條電線、一個撥動開關、一個充電電池,跟一個矽遞科技(Seeed Studio)的小(Xiao)系列開發板,主要是Xiao nRF52840 Sense這一片,Xiao系列目前約12種板子。

註1:Xiao nRF52840 Sense的功效電路設計圖實體電路佈局圖

要注意的是,Omi目前傾向Maker使用第二代硬體開發套件,即Omi DevKit 2,2與1都是使用nRF52840開發版,後者把板子上的記憶體加大到8GB,然後除了麥克風外也加入喇叭,以及把撥動開關改成可程式化的按鈕。

如果這些都自己買、自己裝的話約23美元,或者Maker想更專注在軟體上,也可以直接已是成品的Omi DevKit 2約69.99美元(DevKit 1約49美元)。

重點,Omi是用Bluetooth通訊與手機溝通的,若沒帶手機Omi效用就極其有限,手機上必須安裝能支援呼應Omi的App才行,就稱為Omi App,而手機App與Omi裝置間的協定就稱為App-device protocol,透過這協定手機可以知道Omi內的電池電量、韌體版本並用來傳遞語音。

圖2 Omi DevKit 1的主要硬體組件(圖片來源:Omi官網)

裝置:手機

Omi的應用價值極大程度倚賴手機內安裝的Omi App,Omi App還分成提示型、整合型,提示又分成聊天提示、記憶提示,聊天提示可以要求Omi回話要以何種身份或語氣,記憶提示是希望歸結前面話語的重點項、結論等。

圖3 聊天提示型App、記憶提示型App的描述與範例(圖片來源:Omi官網)

整合型則是讓手機進一步與其他地方聯繫互動,例如語音命令開關智慧燈泡、在Internet上的行事曆增加一則待辦事項等。此外也可能不交由Omi裝置處理所有的音訊工作,而是透過Bluetooth把音訊串流傳輸到手機上,由手機或更後端的系統進一步解析處理。

應用程式一旦開發完成後,可以提交到Omi App Store上尋求上架,推測這也是Omi發創者最希望的:有大量的Omi App上架、有大量的Omi裝置銷售,兩者正向循環、旋吸而上發展。

另外,要想更新Omi裝置內的韌體也是透過手機,Omi AI這套App有.apk檔可以裝到Android或.ipa檔裝到iPhone,然後下載新版本的韌體,副檔名為.uf2,之後把Omi裝置用USB接上手機,手機偵測到有類似USB隨身碟的裝置接入後,再將.uf2檔案拖放到/Volumes/XIAO-SENSE路徑即可。

要注意的是,更新韌體前DevKit 1要先用細針插入殼內按兩次DFU鈕,DevKit 2則是拆殼按裡頭的RST鈕一次,且DevKit 1、2的韌體不通用。其實除了DevKit 1、2等項鍊裝置外,還有一個OpenGlass的眼鏡上附掛裝置,三者都是同一套開發、更新模式。

註1:2024年12月27日釋出的Omi DK2 2.0.8版已可支援OTA,不一定要實際接線才能更新Omi裝置內的韌體。

註2:其實Omi的韌體也是可以再開發的,韌體程式撰寫上使用Microsoft Visual Studio Code編輯器然後附加安裝nRF Connect Extension,韌體編譯則用nRF Connect軟體開發套件(SDK)與工具鏈(Toolchain)。

後端

後段就是指連上Internet後的網站、資料中心,例如對Omi語音發話後,透過Omi或手機轉成文字,再傳遞到ChatGPT網站,ChatGPT回覆文字後,透過手機或Omi將文字轉語音,即今日最熱門的大語言模型應用。

依據Omi官方目前所述,後端可以連接Google Map(語音導航)、可以連接Hugging Face(為數眾多的大語言模型可用)等,或者用Omi對話錄音,音訊資料也可以上傳到雲端存放等。

圖4 Omi前後端技術串連圖(圖片:陸向陽)

結語

最後筆者認為,Omi整套的技術含量與重點會落在App上,畢竟Omi體積嬌小很難再延伸發展其軟硬體,而修改Omi內部的官方韌體需要較專業的開發能力並可能帶來不相容的風險,至於後端倚賴雲端服務商更是難更動,所以重點就在App上。

另外,畢竟智慧手機、手錶本身就能收發語音,是否真有必要再垂掛一個項鍊來完成任務,此可能需要更多觀察與市場歷練。

陸向陽
陸向陽

Author: 陸向陽

從電子科系畢業後,即以媒體人的角色繼續這段與「電子科技」的不解之緣。歷任電子技術專書作者、電子媒體記者、分析師等角色,並持續寫作不殆。近來投入Arduino、Raspberry Pi等開放硬體的研究與教程介紹。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *