【科技講座】邊緣運算關鍵技術挑戰剖析
關於此課程
本講座邀請「Edge AI Taiwan」社群版主/歐尼克斯工作室創辦人許哲豪(Jack)博士從Edge AI技術發展現況與挑戰切入,介紹微機器學習(TinyML)、裝置端學習(On-device Learning)、「邊緣協作」等前瞻技術。
重點摘要
由人工智慧及物聯網結合而成的「AIoT」,無疑是近年來科技產業最強大、最具商業化想像價值的話題之一。然而若想透過物聯網,將數以百計、千計的裝置串連,將會產生巨量的資料,進而導致傳統Cloud AI的部署形式在這種模式下產生一些隱私、安全、效率等問題。因此Edge AI的重要性愈來愈受重視,也就是在邊緣裝置上應用AI模型來提升彈性和效率的做法,已成為AIoT建置上必不可少的一項關鍵技術。
在本講座中,許哲豪博士首先概覽Edge AI技術的發展現況及未來可能面對的挑戰。
許哲豪指出,過去AIoT的運作模式是搜集大量的感測資料後,透過網路丟到雲上計算,再進行智能判斷。使用此一方法,若只是規模較小的裝置可能問題不大,但當資料量一多,尤其是一些大量影像類資料,若是仍要透過雲端運算,就太浪費頻寬且效率不彰。因此,若能將一些有低延遲、高隱私,低成本需求的運算改到邊緣裝置進行,只將結果上傳雲端,就能減低許多成本,且保護資料所有人的隱私,這就是所謂的Edge AI。
邊緣智慧新興應用
他進一步說明,Edge AI新興應用包含智慧電線桿、自走車 AGV / AMR及近期最熱門的元宇宙實境互動,橫跨智慧交通、物流及娛樂等,領域相當多元且廣泛。
TinyML常見應用
至於最近話題度也很高的TinyML,指的是可運行機器學習、人工智慧或深度學習算法之硬體,多半使用中、高階微控制器 (MCU) 構成,廣義而言可將其定義擴大至低功耗常時運作之單板微電腦硬體。MCU等級的TinyML常見應用有智慧感測器、影像感測器、聲音感測器等,許哲豪將解釋,為何這些功能用電腦或伺服器來運作有些浪費,改為TinyML會更精簡,功耗也能降低。
邊緣運算關鍵技術
許哲豪也向大家分享邊緣運算需要具備的幾個關鍵技術。第一是算力提升,算力足夠才能負荷巨量的指令運算;再來是推論優化,在去除不重要的資訊的同時,維持精度不變,達成模型縮小、計算減量及耗能降低的目標。此外,透過現成的開源模型,能以現成技術能快速驗證想法,不必害怕花費大量成本卻徒勞無功。若能夠善用拖拉式的工具或網頁式的工具,就可快速修改參數及改善優化,不必重寫程式,讓開發過程更順利。
Edge AI 未來挑戰
談及Edge AI 未來挑戰,許哲豪認為由於影響AI效果的原因極多,工程師該如何找出問題進行部署維運,會是一大挑戰。而由於現代人對資訊隱私敏感度高,若能以去中心化訓練,即資料不上傳,模型共用但在各自設備進行訓練,最後上傳訓練結果再對模型進行調整,或許會是較好的發展方式。
參考資料
- 本講座收錄自「邊緣運算關鍵技術趨勢講座」,請見活動報導,以及其他講座影片。
- 本講座簡報請見歐尼克斯實境互動工作室部落格分享。
- 講師網站連結
- 講師為Edge AI Taiwan邊緣智能交流區版主
講師介紹
歐尼克斯實境互動工作室創辦人 許哲豪(Jack Hsu)
工作經驗超過二十年,主要專長機電整合、電腦視覺、人機互動、人工智慧、專利分析及新創輔導。曾任機電整合工程師、機器視覺研發副理、技轉中心商業發展經理。目前擔任多家公司兼任技術顧問並積極推廣實境互動相關技術。
主持歐尼克斯實境互動工作室(OmniXRI):http://omnixri.blogspot.com
Edge AI Taiwan邊緣智能交流區:https://www.facebook.com/groups/edgeaitw/