作者：陸向陽
在Maker圈談及Edge AI、TinyML，大家多會立即聯想到SensiML、Edge Impulse等好用的開發工具（或稱開發平台，除了編輯器、編譯器外也提供資料集、基礎模型等相關資源），其他也包含Imagimob、Qeexo等。
Edge Impulse工作流程
這些開發工具許多是採SaaS方式實現，開發者連軟體都不需要安裝、下載，申請或連結一組帳號密碼就能登入使用，過去訓練好的AI模型也可以輕鬆透過壓縮功能進行瘦身，以便在嬌小、資源有限的嵌入式裝置內運作，而從無到有全新開發訓練的模型則是便利且表現佳。
更重要的是，開發工具商為了追求使用者最大化，盡可能支援各種廠牌的MCU晶片，而不偏袒任何一家，中立超然也成為其開發平台與服務的一大優勢。可惜的是，有愈來愈多Edge AI/TinyML的SaaS軟體商被財務資源雄厚的MCU晶片商購併。
例如日本瑞薩(Renesas)購併Reality AI，或如德國英飛凌(Infineon)購併Imagimob，挪威Nordic購併Atlazo等，美國QuickLogic也購併SensiML。雖然購併後軟體商多會強調，依然追求廣泛的支援，但畢竟母公司是某晶片商，優先支援自家晶片仍是可能，甚逐漸放淡放慢對其他家晶片的支援，失去中立超然性。
截至目前（2023年12月）止，極受歡迎的Edge Impulse仍是中立之身，但後續走上相同的被併之路也不無可能，如此是否還有與之相同相仿的廣泛中立型Edge AI/TinyML開發平台呢？
基於上述的擔憂，筆者進行了一番搜尋，確實仍有若干相似立場的技術業者，但功力還有待進一步摸索，以下與各位分享：
- 以色列Deci
Deci可以讓AI模型在邊緣裝置上執行（run on edge device），也可以想辦法節約雲端執行的成本等，Deci獲得Intel、NVIDIA、HPE等科技大廠的支持，創辦人則有Google歷練經驗。
- 加拿大Deeplite
Deeplite也是強調易用（Easy-To-Use，易於訓練開發AI模型）、智慧型量化器（Smart Quantizer）、設計空間探索（Design Space Exploration），甚至可以用2位元量化在Cortex-A晶片上推論，還能放入多軸無人機內使用。
- 南韓Nota AI
這間公司與Edge Impulse等是TinyML Summit峰會上的贊助常客，強調AI去中心化、最佳化、有效率化、成本效益化等。
該公司一大強調就是「Ultra-Efficient AI Inference for Edge Devices，在邊緣裝置上超高效率地推論人工智慧」，另外模型的資安防護、持續一致性維護也是其重點。
- 美國Modzy
昔稱Yzdom，該公司強調「Build Edge AI Solutions Faster」就可知道是Edge AI/TinyML軟體商，不過比較偏重AI模型的邊緣佈建及相關服務。
圖1 Modzy公司官網
- 美國alwaysAI
專注在電腦視覺（Computer Vision, CV）的Edge AI應用開發，不僅是資料集管理、模型訓練，也包含整合、分析等功能，甚至是提供配套的專業服務。
- 南韓CLIKA
公司口號直言「Tiny AI, Everywhere」，強調能夠簡化開發流程管線，能大幅壓縮模型容量，官網宣稱可達72%精省，或同樣使用INT8精度有更高的推論準確性等。
圖2 CLIKA公司官網
公司訴求「Enabling AI. Everywhere.」，也是採常見的社群版免費、SaaS型訂閱服務、企業型報價式服務等。
昔稱Flexible Learning Machines，與其他業者不同的是強調開發工具採開放原碼方式發展，並強調模型最佳化的工具套件，沒太強調Edge AI、TinyML。
- 加拿大CentML
高度專注在模型的推論成本、推論速度上，沒太強調Edge AI、TinyML，但也高度相關。
除上述外，也有完全專注於Edge AI/TinyML裝置管理的軟體商，如英國LGN，其口號是「Edge AI under control」，因與開發密切關連故筆者難以忽略。
結尾
綜觀上述，Edge AI、TinyML領域的雲端開發工具、開發平台商依然很多，但能否像Edge Impulse般那麼廣受歡迎、工具功能與能耐如何等，需要進一步探索才能定論。
另外，許多業者也開始朝更廣泛的資料集、更多現成的基礎模型（Foundation Models, FMs）、更多特徵工程能力、資料標記、演算法選項等方向發展，如同過往的入口網站，用戶一旦登入就一次購足一切，不需要離開另行張羅。
或者，有的已經確立支援的技術方向，如前述已有業者全然以電腦視覺為主，音訊或自然語言處理（Natural Language Processing, NLP）相關的並非其重點；有的則確定往大型語言模型（Large Language Model, LLM）領域延伸支援；有的朝產業別方向專精，如醫療業、製造業等。
總之，中立超然的Edge AI、TinyML開發工具仍有一段路可行，且仍有各種探索可能，成為晶片商的附屬並非唯一的路。
（責任編輯：謝嘉洵。）
- LLM/GenAI的回答會造成危害嗎？MLCommons提出衡量規範草案 - 2024/04/22
- 致敬？回敬？繼NVIDIA Chat with RTX後AMD亦推行LLM Studio - 2024/03/27
- 推探Google開源、輕量級大型語言模型Gemma - 2024/03/21
