作者：謝涵如
相信有在關注科技產業的人，對於由人工智慧及物聯網結合而成的「AIoT」一字並不陌生，它無疑是近年來科技產業最強大，最具商業化想像價值的話題之一。然而若想透過物聯網，將數以百計、千計的裝置串連，將會產生巨量的資料，進而導致傳統Cloud AI的部署形式在這種模式下產生一些隱私、安全、效率等問題。
因此Edge AI的重要性愈來愈受重視，也就是在邊緣裝置上應用AI模型來提升彈性和效率的做法，已成為AIoT建置上必不可少的一項關鍵技術。本次由建智公司（Sertek）主辦、Intel協辦、MakerPRO執行的《2022邊緣運算關鍵技術趨勢講座》，特別邀請了多位專家，從不同角度切入，帶領大家掌握今年該關注的邊緣運算技術趨勢。
Edge AI的過去、現在與未來
歐尼克斯工作室創辦人許哲豪，首先概覽Edge AI技術的發展現況及未來可能面對的挑戰。
許哲豪表示，過去AIoT的運作模式是搜集大量的感測資料後，透過網路丟到雲上計算，再進行智能判斷。使用此一方法，若只是規模較小的裝置可能問題不大，但當資料量一多，尤其是一些大量影像類資料，若是仍要透過雲端運算，就太浪費頻寬且效率不彰。
因此，若能將一些有低延遲、高隱私，低成本需求的運算改到邊緣裝置進行，只將結果上傳雲端，就能減低許多成本，且保護資料所有人的隱私，這就是所謂的Edge AI。他進一步指出，Edge AI新興應用包含智慧電線桿、自走車 AGV / AMR及近期最熱門的元宇宙實境互動，橫跨智慧交通、物流及娛樂等，領域相當多元且廣泛。
許哲豪向觀眾介紹Edge AI的發展歷程。
至於最近話題度也很高的TinyML，指的是可運行機器學習、人工智慧或深度學習算法之硬體，多半使用中、高階微控制器 (MCU) 構成，廣義而言可將其定義擴大至低功耗常時運作之單板微電腦硬體。MCU等級的TinyML常見應用有智慧感測器、影像感測器、聲音感測器等，許哲豪解釋，這些功能用電腦或伺服器來運作有些浪費，改為TinyML會更精簡，功耗也能降低。
許哲豪也向大家分享邊緣運算需要具備的幾個關鍵技術。第一是算力提升，算力足夠才能負荷巨量的指令運算；再來是推論優化，在去除不重要的資訊的同時，維持精度不變，達成模型縮小、計算減量及耗能降低的目標。此外，透過現成的開源模型，能以現成技術能快速驗證想法，不必害怕花費大量成本卻徒勞無功。若能夠善用拖拉式的工具或網頁式的工具，就可快速修改參數及改善優化，不必重寫程式，讓開發過程更順利。
談及Edge AI 未來挑戰，許哲豪認為由於影響AI效果的原因極多，工程師該如何找出問題進行部署維運，會是一大挑戰。而由於現代人對資訊隱私敏感度高，若能以去中心化訓練，即資料不上傳，模型共用但在各自設備進行訓練，最後上傳訓練結果再對模型進行調整，或許會是較好的發展方式。
OpenVINO解決痛點 加速城市AI化
現任大聯大旗下友尚集團F事業處副理Jonathan Yeh，以自身在工程領域長達10年以上的工作經驗，為觀眾介紹OpenVINO這個Edge AI開發工具如何加速智慧城市應用的落地。
「有些人可能會好奇，既然網路已經無所不在，那麼Edge為何仍然重要？」Jonathan表示，Edge的優點在於能夠比網路更即時，且不受區域限制，即便在偏遠地區或因戰爭等特殊情況斷網也能運作，在一些智慧城市的應用，如追求零延遲的智慧交通等方面尤為重要。
而從近年來深度學習的訓練數據中，可看出人工智慧對於資訊的判讀精確性正不斷提升，已有接近甚至超越人類的水準，完全具備為生活提供有效輔助的能力，未來發展相當值得期待。不過若深度學習真的這麼好用，那麼為什麼目前看到的實際落地案例不多呢？Jonathan認為有幾個原因。
首先，要將深度學習網路部署到真實世界的生產場域中，本身就是非常困難的問題，訓練完成的準確性及表現都須在經過調整才能符合現場需求。
其二則是整合難度高，無論是軟體方面該如何整合不同編程語言寫出的程式，硬體方面如何整理不同的資料格式，甚至於是軟硬體的溝通等等，都極具挑戰。
再者就是缺乏一個放諸四海皆準的規則，對於每一個問題，都可能會有一個獨特的神經網路訓練模型及預測目標的獨立組合，生產不同產品的每一個工廠都需要的訓練模型與推論標的皆不同，高度客製化的需求自然導至量產困難。
所以要完善這麼龐大的一個AI結構，必須同時處理從數據工程、資料工程、程式語言，以及各種不同的演算法間的整合，其實相當不容易。不過幸運的是，這一大痛點透過Intel所推出的開源軟體OpenVINO即可獲得解決。
OpenVINO主要著重在深度學習的優化與推理，能優化整個從開發、優化到部署的過程。其關鍵技術Model Optimizer，能夠將各種深度學習框架轉換成標準化的IR格式，提供給推論引擎，導入到各種硬體裝置上，解決了難以整合的問題。同時OpenVINO也提供許多現成的模型，已經轉換為IR模式，可直接下載並修改使用，不必完全從零開始，大幅節省開發時間。
Jonathan將OpenVINO比喻為一個黑盒子，將一個看似普通的城市圖片或影片導入，就能定位出其中車子的位置資訊，並且進而衍生出各種如科技執法等的進階應用，可說是開發者的一大福音。
Jonathan結合實際案例，向觀眾講解如何利用OpenVINO辨識跑車。
解決方案軟硬整合 落地更輕鬆
許多Edge AI的應用，都離不開資料的傳輸，因此活動也邀請到友尚集團經理 Loni Lee及副理 Think Chen分別以實際產品為例，為觀眾介紹邊緣運算的通訊技術方案。
Loni表示：「在邊緣運算中，CPU的運算就像大腦，而Thunderbolt這一產品就像手和腳，透過 I/O 進行對外界的感測。」Thunderbolt 是 Intel 在過去十年間開發的纜線連線介面，能夠提供高頻寬以連接高速裝置，滿足物聯網的需求。
Loni向觀眾介紹Thunderbolt這一產品。
Think則為觀眾介紹了Intel 專為物聯網開發的全新處理器，以及Edge Software Hub 這一方便的邊緣軟體中心。Think提到：「Edge Software Hub 提供方便的解決方案，讓開發者能快速的透過這一平台取得資訊及下載軟體，減少前置作業時間並快速驗證成果，讓開發過程更輕鬆快速。」
Think為觀眾介紹Intel 專為物聯網開發的全新處理器。
最後則由友尚集團F事業處經理Terry Wu 壓軸，分享Edge AI在工業4.0方面的應用，及Intel的AMR機器人協作及邊緣端工業控制系統。Terry表示，製造業作為國家經濟的火車頭，各國都紛紛喊出對於工業的規劃及戰略部署，工業儼然已成為兵家必爭之地，掌握工業4.0的先機重要性可見一班。Intel所提供的Edge Control for Industrial邊緣端工業控制系統，是一個運行在具有相容性硬體上的軟體參考平台，可將即時確定性運算、依據標準的連線能力，以及類似 IT 的管理，與類似營運技術 (OT) 的的可預測性整合在一起，幫助企業加速達成產業智慧化，抓住工業4.o的脈動。
Terry Wu 向觀眾分享Edge AI在工業4.0方面的應用，及Intel的AMR機器人協作及邊緣端工業控制系統。
小結
Edge AI作為AIoT的關鍵技術，其涉及領域博大精深，對於開發者而言要完全掌握也相當困難。好在市場上已經有許多方便的解決方案，解決了大部分的痛點，提供了更輕鬆順暢的開發環境。期待開發者們能善用這些工具開發出更多方便的應用，讓人們能有更好的生活品質。
（本文活動內容可參考活動連結）
- 【活動報導】Edge AI聰明部署關鍵論壇 輕鬆跨越應用瓶頸 - 2022/12/17
- 2022世足賽來臨，足球科技精準協助判定！ - 2022/11/30
- 當3D掃描遇上古蹟，成為珍貴文物保存利器！ - 2022/11/07
