|

【TinyML開發平台】尋找下一個Edge Impulse!

   

文章導覽

作者:陸向陽

在Maker圈談及Edge AI、TinyML,大家多會立即聯想到SensiML、Edge Impulse等好用的開發工具(或稱開發平台,除了編輯器、編譯器外也提供資料集、基礎模型等相關資源),其他也包含Imagimob、Qeexo等。

Edge Impulse工作流程

這些開發工具許多是採SaaS方式實現,開發者連軟體都不需要安裝、下載,申請或連結一組帳號密碼就能登入使用,過去訓練好的AI模型也可以輕鬆透過壓縮功能進行瘦身,以便在嬌小、資源有限的嵌入式裝置內運作,而從無到有全新開發訓練的模型則是便利且表現佳。

更重要的是,開發工具商為了追求使用者最大化,盡可能支援各種廠牌的MCU晶片,而不偏袒任何一家,中立超然也成為其開發平台與服務的一大優勢。可惜的是,有愈來愈多Edge AI/TinyML的SaaS軟體商被財務資源雄厚的MCU晶片商購併。

例如日本瑞薩(Renesas)購併Reality AI,或如德國英飛凌(Infineon)購併Imagimob,挪威Nordic購併Atlazo等,美國QuickLogic也購併SensiML。雖然購併後軟體商多會強調,依然追求廣泛的支援,但畢竟母公司是某晶片商,優先支援自家晶片仍是可能,甚逐漸放淡放慢對其他家晶片的支援,失去中立超然性。

截至目前(2023年12月)止,極受歡迎的Edge Impulse仍是中立之身,但後續走上相同的被併之路也不無可能,如此是否還有與之相同相仿的廣泛中立型Edge AI/TinyML開發平台呢?

基於上述的擔憂,筆者進行了一番搜尋,確實仍有若干相似立場的技術業者,但功力還有待進一步摸索,以下與各位分享:

Deci可以讓AI模型在邊緣裝置上執行(run on edge device),也可以想辦法節約雲端執行的成本等,Deci獲得Intel、NVIDIA、HPE等科技大廠的支持,創辦人則有Google歷練經驗。

Deeplite也是強調易用(Easy-To-Use,易於訓練開發AI模型)、智慧型量化器(Smart Quantizer)、設計空間探索(Design Space Exploration),甚至可以用2位元量化在Cortex-A晶片上推論,還能放入多軸無人機內使用。

這間公司與Edge Impulse等是TinyML Summit峰會上的贊助常客,強調AI去中心化、最佳化、有效率化、成本效益化等。

該公司一大強調就是「Ultra-Efficient AI Inference for Edge Devices,在邊緣裝置上超高效率地推論人工智慧」,另外模型的資安防護、持續一致性維護也是其重點。

昔稱Yzdom,該公司強調「Build Edge AI Solutions Faster」就可知道是Edge AI/TinyML軟體商,不過比較偏重AI模型的邊緣佈建及相關服務。

圖1 Modzy公司官網

專注在電腦視覺(Computer Vision, CV)的Edge AI應用開發,不僅是資料集管理、模型訓練,也包含整合、分析等功能,甚至是提供配套的專業服務。

公司口號直言「Tiny AI, Everywhere」,強調能夠簡化開發流程管線,能大幅壓縮模型容量,官網宣稱可達72%精省,或同樣使用INT8精度有更高的推論準確性等。

圖2 CLIKA公司官網

公司訴求「Enabling AI. Everywhere.」,也是採常見的社群版免費、SaaS型訂閱服務、企業型報價式服務等。

昔稱Flexible Learning Machines,與其他業者不同的是強調開發工具採開放原碼方式發展,並強調模型最佳化的工具套件,沒太強調Edge AI、TinyML。

高度專注在模型的推論成本、推論速度上,沒太強調Edge AI、TinyML,但也高度相關。

除上述外,也有完全專注於Edge AI/TinyML裝置管理的軟體商,如英國LGN,其口號是「Edge AI under control」,因與開發密切關連故筆者難以忽略。

結尾

綜觀上述,Edge AI、TinyML領域的雲端開發工具、開發平台商依然很多,但能否像Edge Impulse般那麼廣受歡迎、工具功能與能耐如何等,需要進一步探索才能定論。

另外,許多業者也開始朝更廣泛的資料集、更多現成的基礎模型(Foundation Models, FMs)、更多特徵工程能力、資料標記、演算法選項等方向發展,如同過往的入口網站,用戶一旦登入就一次購足一切,不需要離開另行張羅。

或者,有的已經確立支援的技術方向,如前述已有業者全然以電腦視覺為主,音訊或自然語言處理(Natural Language Processing, NLP)相關的並非其重點;有的則確定往大型語言模型(Large Language Model, LLM)領域延伸支援;有的朝產業別方向專精,如醫療業、製造業等。

總之,中立超然的Edge AI、TinyML開發工具仍有一段路可行,且仍有各種探索可能,成為晶片商的附屬並非唯一的路。

(責任編輯:謝嘉洵。)

陸向陽
陸向陽

Author: 陸向陽

從電子科系畢業後,即以媒體人的角色繼續這段與「電子科技」的不解之緣。歷任電子技術專書作者、電子媒體記者、分析師等角色,並持續寫作不殆。近來投入Arduino、Raspberry Pi等開放硬體的研究與教程介紹。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *