【活動報導】掌握2022邊緣運算關鍵技術趨勢

作者:謝涵如

相信有在關注科技產業的人,對於由人工智慧及物聯網結合而成的「AIoT」一字並不陌生,它無疑是近年來科技產業最強大,最具商業化想像價值的話題之一。然而若想透過物聯網,將數以百計、千計的裝置串連,將會產生巨量的資料,進而導致傳統Cloud AI的部署形式在這種模式下產生一些隱私、安全、效率等問題。

因此Edge AI的重要性愈來愈受重視,也就是在邊緣裝置上應用AI模型來提升彈性和效率的做法,已成為AIoT建置上必不可少的一項關鍵技術。本次由建智公司(Sertek)主辦、Intel協辦、MakerPRO執行的《2022邊緣運算關鍵技術趨勢講座》,特別邀請了多位專家,從不同角度切入,帶領大家掌握今年該關注的邊緣運算技術趨勢。

Edge AI的過去、現在與未來

歐尼克斯工作室創辦人許哲豪,首先概覽Edge AI技術的發展現況及未來可能面對的挑戰。

許哲豪表示,過去AIoT的運作模式是搜集大量的感測資料後,透過網路丟到雲上計算,再進行智能判斷。使用此一方法,若只是規模較小的裝置可能問題不大,但當資料量一多,尤其是一些大量影像類資料,若是仍要透過雲端運算,就太浪費頻寬且效率不彰。

因此,若能將一些有低延遲、高隱私,低成本需求的運算改到邊緣裝置進行,只將結果上傳雲端,就能減低許多成本,且保護資料所有人的隱私,這就是所謂的Edge AI。他進一步指出,Edge AI新興應用包含智慧電線桿、自走車 AGV / AMR及近期最熱門的元宇宙實境互動,橫跨智慧交通、物流及娛樂等,領域相當多元且廣泛。

許哲豪向觀眾介紹Edge AI的發展歷程。

至於最近話題度也很高的TinyML,指的是可運行機器學習、人工智慧或深度學習算法之硬體,多半使用中、高階微控制器 (MCU) 構成,廣義而言可將其定義擴大至低功耗常時運作之單板微電腦硬體。MCU等級的TinyML常見應用有智慧感測器、影像感測器、聲音感測器等,許哲豪解釋,這些功能用電腦或伺服器來運作有些浪費,改為TinyML會更精簡,功耗也能降低。

許哲豪也向大家分享邊緣運算需要具備的幾個關鍵技術。第一是算力提升,算力足夠才能負荷巨量的指令運算;再來是推論優化,在去除不重要的資訊的同時,維持精度不變,達成模型縮小、計算減量及耗能降低的目標。此外,透過現成的開源模型,能以現成技術能快速驗證想法,不必害怕花費大量成本卻徒勞無功。若能夠善用拖拉式的工具或網頁式的工具,就可快速修改參數及改善優化,不必重寫程式,讓開發過程更順利。

談及Edge AI 未來挑戰,許哲豪認為由於影響AI效果的原因極多,工程師該如何找出問題進行部署維運,會是一大挑戰。而由於現代人對資訊隱私敏感度高,若能以去中心化訓練,即資料不上傳,模型共用但在各自設備進行訓練,最後上傳訓練結果再對模型進行調整,或許會是較好的發展方式。

OpenVINO解決痛點 加速城市AI化

現任大聯大旗下友尚集團F事業處副理Jonathan Yeh,以自身在工程領域長達10年以上的工作經驗,為觀眾介紹OpenVINO這個Edge AI開發工具如何加速智慧城市應用的落地。

「有些人可能會好奇,既然網路已經無所不在,那麼Edge為何仍然重要?」Jonathan表示,Edge的優點在於能夠比網路更即時,且不受區域限制,即便在偏遠地區或因戰爭等特殊情況斷網也能運作,在一些智慧城市的應用,如追求零延遲的智慧交通等方面尤為重要。

而從近年來深度學習的訓練數據中,可看出人工智慧對於資訊的判讀精確性正不斷提升,已有接近甚至超越人類的水準,完全具備為生活提供有效輔助的能力,未來發展相當值得期待。不過若深度學習真的這麼好用,那麼為什麼目前看到的實際落地案例不多呢?Jonathan認為有幾個原因。

首先,要將深度學習網路部署到真實世界的生產場域中,本身就是非常困難的問題,訓練完成的準確性及表現都須在經過調整才能符合現場需求。

其二則是整合難度高,無論是軟體方面該如何整合不同編程語言寫出的程式,硬體方面如何整理不同的資料格式,甚至於是軟硬體的溝通等等,都極具挑戰。

再者就是缺乏一個放諸四海皆準的規則,對於每一個問題,都可能會有一個獨特的神經網路訓練模型及預測目標的獨立組合,生產不同產品的每一個工廠都需要的訓練模型與推論標的皆不同,高度客製化的需求自然導至量產困難。

所以要完善這麼龐大的一個AI結構,必須同時處理從數據工程、資料工程、程式語言,以及各種不同的演算法間的整合,其實相當不容易。不過幸運的是,這一大痛點透過Intel所推出的開源軟體OpenVINO即可獲得解決。

OpenVINO主要著重在深度學習的優化與推理,能優化整個從開發、優化到部署的過程。其關鍵技術Model Optimizer,能夠將各種深度學習框架轉換成標準化的IR格式,提供給推論引擎,導入到各種硬體裝置上,解決了難以整合的問題。同時OpenVINO也提供許多現成的模型,已經轉換為IR模式,可直接下載並修改使用,不必完全從零開始,大幅節省開發時間。

Jonathan將OpenVINO比喻為一個黑盒子,將一個看似普通的城市圖片或影片導入,就能定位出其中車子的位置資訊,並且進而衍生出各種如科技執法等的進階應用,可說是開發者的一大福音。

Jonathan結合實際案例,向觀眾講解如何利用OpenVINO辨識跑車。

解決方案軟硬整合 落地更輕鬆

許多Edge AI的應用,都離不開資料的傳輸,因此活動也邀請到友尚集團經理 Loni Lee及副理 Think Chen分別以實際產品為例,為觀眾介紹邊緣運算的通訊技術方案。

Loni表示:「在邊緣運算中,CPU的運算就像大腦,而Thunderbolt這一產品就像手和腳,透過 I/O 進行對外界的感測。」Thunderbolt 是 Intel 在過去十年間開發的纜線連線介面,能夠提供高頻寬以連接高速裝置,滿足物聯網的需求。

Loni向觀眾介紹Thunderbolt這一產品。

Think則為觀眾介紹了Intel 專為物聯網開發的全新處理器,以及Edge Software Hub 這一方便的邊緣軟體中心。Think提到:「Edge Software Hub 提供方便的解決方案,讓開發者能快速的透過這一平台取得資訊及下載軟體,減少前置作業時間並快速驗證成果,讓開發過程更輕鬆快速。」

Think為觀眾介紹Intel 專為物聯網開發的全新處理器。

最後則由友尚集團F事業處經理Terry Wu 壓軸,分享Edge AI在工業4.0方面的應用,及Intel的AMR機器人協作及邊緣端工業控制系統。Terry表示,製造業作為國家經濟的火車頭,各國都紛紛喊出對於工業的規劃及戰略部署,工業儼然已成為兵家必爭之地,掌握工業4.0的先機重要性可見一班。Intel所提供的Edge Control for Industrial邊緣端工業控制系統,是一個運行在具有相容性硬體上的軟體參考平台,可將即時確定性運算、依據標準的連線能力,以及類似 IT 的管理,與類似營運技術 (OT) 的的可預測性整合在一起,幫助企業加速達成產業智慧化,抓住工業4.o的脈動。

Terry Wu 向觀眾分享Edge AI在工業4.0方面的應用,及Intel的AMR機器人協作及邊緣端工業控制系統。

小結

Edge AI作為AIoT的關鍵技術,其涉及領域博大精深,對於開發者而言要完全掌握也相當困難。好在市場上已經有許多方便的解決方案,解決了大部分的痛點,提供了更輕鬆順暢的開發環境。期待開發者們能善用這些工具開發出更多方便的應用,讓人們能有更好的生活品質。

(本文活動內容可參考活動連結

謝涵如
謝涵如

Author: 謝涵如

喜歡窩在自己的一方世界裡寫作閱讀,也喜歡四處旅遊找驚喜,希望能多接觸學習各種知識,從中拼湊出世界的全貌。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。