作者：Parag Beeraka，Arm物聯網事業部市場行銷資深總監
近幾年來，物聯網(IoT)的創新步伐越來越快，現在正進入光速發展。當邊緣裝置剛開始相互連結，第一個重大的IoT轉型隨之發生；而現在它們正連結到雲端。突然間，大量被擷取的資料能以更具成本效益的方式在雲端被處理，強大的演算法將資料的詮釋推進到一個全新的、可被理解的層面。
這催生了一系列的系統開發：它們能在雨林中「聽見」並定位非法盜伐行為、識別瀕危物種遇險的聲音，或是在工廠中感測到機械故障、並在設備崩壞前自動發出警報給管理者；這些都已在過去幾年實現。
機器學習為IoT帶來全新轉型
而一場全新、甚至更強大的轉型正在進行中，邊緣裝置不再依賴雲端運算來詮釋資料，而演變成能根據所產生資料自行做出決策的系統。透過在更接近資料被擷取的地方進行處理，實現了更快的決策，以及隱私保護與安全性的提升。
考量在視覺方面的應用：幾年前，家用保全攝影機將視訊串流到雲端，以通知屋主有包裹快遞；現在，許多新一代的家用保全攝影機已經整合了機器學習(ML)功能，因為不必將資料傳輸到雲端再返回而降低了延遲性，並透過將個資(例如某人的房屋或財產影像)保存在裝置本地而提升了隱私保護，形成更全面的保障。
此外，拜更強大運算力之賜，裝置上的ML功能可以擴展；例如攝影機能被程式化為只擷取門前陌生人或新面孔的影像。
樹莓派也能跑AI！
你還不相信IoT領域的創新正在以超光速發展？不久前，有一些開發者在地球上最受歡迎的IoT裝置–樹莓派(Raspberry Pi)上執行了大型語言模型(LLM)，打造出他們自己的AI聊天機器人伺服器。更清楚的說：一個LLM──有數十億個參數──在樹莓派上運作。詳情可參考Tom’s Hardware在2023年3月針對這個題目發表的一篇教學文。
這只是個開始，語言模型與Transformer模型的各種迭代，很快就會在配備全新運算功能的IoT裝置找到它們的位置。這將開啟曾經僅限於想像的新可能，接下來讓我們看看幾個例子。
強化安全性與隱私保護
隨著科技迅速普及，消費者在他們日常生活的所有方面擁抱數位解決方案，對於隱私保護與安全性的憂慮也隨之提升；有關駭客事件的新聞──無論被駭對象是大型資料中心或IoT等級的小型裝置──層出不窮，而駭客入侵了某人家中的嬰幼兒監視器的訊息，全世界都注意到這個事件。
目前有許多醫療保健裝置被用來監測重要的生命徵象，並針對個人健康提供回饋；這些應用的發展需要的安全性，以確保病患的隱私。隨著ML演進，這些裝置將能直接分析裝置上的資料，偵測模式，甚至根據人們的喜好與目標進行客製化，因此延長平均壽命。
本地決策與更快的反應時間
透過在本地嵌入智慧讓社群轉型的潛力，將改變決策方式；如智慧城市使用IoT感測器與裝置即時收集並分析資料，以做出明智的決策。ML演算法能被用來分析資料，以即時決策，提出見解。智慧交通系統能用ML功能來監測交通流量、事故發生並提供替代路線，也能預測交通流量模式、建議最佳路線。
在疫情期間的必要性推動下，全世界越來越多人利用便利的線上購物送貨到家服務；在此應用中最厲害的地方在於貨物倉儲，由智慧機器人與感測器辨別新訂單中的包裹，並安排以最佳方式送貨給客戶。而在幾年之內，由ML實現的IoT裝置，將克服以無人機送貨到偏遠地區住宅「最後一哩」的挑戰。
改善營運效率
工業廠房是許多國家的骨幹，對全世界的GDP有非常高比例的貢獻。許多工業廠房在過去幾年都已經智慧化，並採用ML將營運效率提升了好幾倍。預測性維護在工業自動化中至關重要，能大幅減少停機時間、提高生產力並降低維護成本。ML在這樣的情境中被用來監測設備性能，並預測潛在的問題。透過即時分析由終端裝置產生的資料，ML演算法能識別潛在問題，讓維護團隊能主動採取行動來解決。
Amazon的Alexa與Google的Nest等裝置為居家管理帶來了變革，讓家庭變得更具智慧，能根據家人的需要實現更新、客製化的使用案例。舉例來說，智慧照明系統能學習使用者的喜好，並依此調整設定。除了改善使用者體驗，IoT裝置上的ML還能透過根據使用者行為來最佳化暖氣與照明等設備，以節省能源消耗。
蓬勃且活力充沛的生態系
結合ML典範的IoT轉型將透過一個蓬勃的生態系，呈現指數級的成長與影響力。IoT裝置內ML將實現一個新價值鏈，包括發明AutoML工具的業者、為IoT量身打造特定模型的公司，還有能轉譯不同框架模型與資料、使之能在IoT裝置上運作的工具供應商。而與ML相關的一些疑慮，需要整個生態系共同克服。
其中最主要的包括：以許多框架開發的模型通常需要針對不同硬體裝置，進而形成規模化的阻礙；而這也是Arm致力於開發名為TOSA (Tensor Operator Set Architecture)的標準運算子架構新標準之原因。透過TOSA，未來在數十億裝置上開發的模型能在各種裝置上運作。Arm一直擁護開放源碼機器學習編譯框架TVM (Tensor Virtual Machine)也是基於相同理由；Arm的CPU與專有ML加速器都支援該框架。
其他例子還有：隨著應用於現場的IoT裝置越來越多，資料漂移(data drift)成為越來越嚴重的問題。當IoT裝置產生的資料特性或模式，因為硬體裝置老化或是環境因素而隨著時間改變，資料漂移就會發生；這會改變模型的統計屬性或分佈而影響應用，但如果有恰當的設計，IoT裝置能偵測到漂移，並將它們分類為自然或異常的漂移，因此維持系統可靠度、性能與安全性。
Arm一直與眾多生態系夥伴合作，在整個機器學習部署的領域實現一個蓬勃的生態系，其中包括AutoML夥伴、模型供應者夥伴、端對端解決方案部署夥伴等等。
釋放ML與IoT的潛力
隨著時間發展，預計所有IoT裝置都將會運作某種ML功能，這是Arm致力於實現一系列ML元件的理由──如配備Cortex-M處理器核心、用以運作微型感測器的晶片，或是以Cortex-M處理器核心搭配客製化ML加速器，與Cortex-A處理器核心的解決方案，還有以Cortex-A處理器核心搭配包括GPU在內之客製化ML加速器的方案，未來將有越來越多相關元件問世。
ML與IoT的結合正在為各行各業與人們日常生活帶來徹底改變，開啟一個轉型的新時代。這樣的聚合將推動指數級的成長，並形成一個動力十足的生態系，其中有打造AutoML工具的業者、為IoT裝置定製的模型，以及能實現無縫部署的框架。
監控運作ML演算法的大量IoT裝置，是這個生態系另一個正興起的面向，能檢測資料漂移。利用這樣的資訊，模型能持續被重複訓練與重複部署，帶來更強化的準確度與效能。ML與IoT將共同重塑這個世界，在不同領域釋放前所未見的可能性。
- 【Arm的AI世界】縮小Edge AI的技能落差 - 2024/03/29
- 【Arm的AI世界】機器學習為物聯網世界帶來重大變革 - 2024/01/03
