|

【活動報導】Edge AI聰明部署關鍵論壇 輕鬆跨越應用瓶頸

   

作者:謝涵如

隨著AI人工智慧技術發展漸趨成熟,應用日益普及,過去主流的雲端運算模式正逐漸轉向位處設備終端邊緣運算。

各行各業都期待利用AI為自己的產品及服務加值,然而實際導入時卻往往出現邊緣端運算能力不足,資料傳輸頻率要求高、多裝置、多平台難以管控等問題,該如何建立妥善的推論及部署策略,成為AI落地的頭號難題。

有鑑於此,本次論壇橫邀集多位專家,從醫療復健、機場安全、AMR機器手臂及自動駕駛等案例切入,結合實務經驗,帶領來賓一起輕鬆跨越部署瓶頸。

AIOT邊緣運算聰明部署策略剖析

在進入實例分享前,為了讓與會來賓對AI先有初步了解,活動先由友尚集團F事業處經理Jonathan概覽性介紹AI生成的經過。

「建立AI的第一步驟須先收集資料進行標記,接著才能依據不同的問題類型建立簡單的模型。」Jonathan以簡單的流程圖輔助解釋。

模型建立完成後並不能直接使用,必須進行訓練並持續優化參數,接著做模型評估測試效果,之後才能根據實際場域部署,達到最佳解實現商轉。

友尚集團F事業處經理Jonathan以流程圖介紹AI開發的基本過程。

「聽起來複雜,但其實就是一個接收資料、回傳資料的系統」Jonathan以數學舉例,傳統編程是在電腦上輸入「1+1」得到2,2是答案,兩個1是資料,+是規則,而深度學習則重新排列這個過程,把資料和答案輸入後得到規則。

「雖然瞭解了理論,但大家可能仍會擔心,訓練一個AI模型,對資料、硬體設備的要求會不會很高?撇除成本不談,又該如何下載、安裝、配置?」Jonathan表示,其實這些問題並不難克服,只要使用intel的OpenVINO開發套件就可以解決。

OpenVINO顧名思義,是一項開源視覺及神經網路最佳化技術,主要聚焦在深度學習後段的應用、推理及部署,只要使用配備有intel 6代以上處理器的筆記型電腦就可直接相容。
即使不是使用windows系統,只要連上Intel DevCloud就可免費註冊使用,不需額外添購多餘的設備,零成本之外,實際使用上也非常有效率,有大量的samples code提供使用者直接執行,不需要重新編寫,還可搭配intel的公開模型庫OMZ使用,

Jonathan分享:「OpenVINO零成本之外,上手也很容易,十分適合新手無痛開啟AI之旅。」

以AI應用軟體開發分析邊緣運算部署方案——醫療復建應用實例

「AIoT的可能性比我們想像的更多!」實務合作經驗橫跨八大領域的僑光科技大學助理教授陳紀翰,以109年AIGO競賽的參賽作品,分享如何透過AI視覺技術判斷受試者的體態。

隨著人們使用手機、電腦的時間加長,久坐、長時間低頭帶來如股盆前傾、駝背等體態問題,促使脊神經醫學興起,然而在臨床上,醫生若欲診斷患者的體態是否正常僅能憑藉目視測量,費時且每個人的判斷標準都不盡相同,缺乏量化數據依據,若能利用AI輔助判斷提高效率與精準度,對醫患雙方而言無疑都是一大福音。

雖然有了想法,但實際開發工作未如想像中順利。由於現有技術的18點標註與25點標註,在人體軀幹部分皆僅在肩膀及骨盆處有標示,無法應用在姿勢問題的相關圖片上,除了側面照無法看出駝背、骨盆前傾問題,正面也無法分辨出脊椎側彎的情況。

為解決此一問題,團隊重新收集資料,找來學生拍攝大量照片,在原先的標註點外再加上三點於側面圖肩背處,正面則在肋骨處加上兩點,接著利用遷移學學習的技術,將原先18點標註的姿態辨識模型和補上五點的模型堆疊,成功得到想要的結果,也於競賽中獲得優等獎肯定。

回憶起開發過程,陳紀翰不諱言Intel的產品也是一大助力:「很感謝Intel當時提供的邊緣部署設備,透過OpenVINO進行軟體開發是非常舒適的體驗。」

僑光科技大學助理教授以曾獲獎的AI體態偵測系統為例,陳紀翰向觀眾分享研發路上遇到的困難及解決方法。

客製化系統組態建議——機場安全應用實例

以工業電腦設計、製造與銷售為主要業務的研尚科技,因為提供新加坡樟宜機場自動通關系統的硬體設備,開啟與Sertek的合作之路。

「從硬體供應商的角度,該如何將OpenVINO這項好用的工具介紹給客戶,協助客戶發揮硬體設備最大價值,是研尚目前正在努力的方向。」專案工程師潘俊諺表示,樟宜機場的案例,就是透過經銷商商層層轉介達成。

究竟該如何展示與介紹,才能讓未必熟悉軟體知識的中介廠商客戶完整了解產品的可能性,進而將OpenVINO工具推廣到合作的軟體供應商是一門學問。

由於目標放在「發揮Intel CPU/GPU的既有能力,用於AI應用。」相比起將展示機送往客戶,研尚科技選擇以軟體備份檔來投遞,並改為可攜版本的展示設計,方便客戶在不同CPU組態的硬體選擇中試跑,同時以簡報輔助介紹,並根據不同性質的客戶,擬定不同策略。

「將產品介紹給客戶的過程要懂得隨機應變,見招拆招,找出最好的突破點。」潘俊諺總結。

研尚科技專案工程師潘俊諺分享如何將OpenVINO介紹給客戶,共創雙贏。

OpenVINO遇上機器手臂——工廠自動控制應用實例

友尚集團F事業處經理Terry Wu則以智慧手臂為例,向來賓分享邊緣運算在工廠自動化中的應用。

友尚的機械手臂主打Real-Time功能,Terry 解釋:「Real-Time就是指每個元素在特定的時間內,以可靠、可預測的方式執行。」
要想達到Real-Time的標準挑戰不小,除了必須仔細找出所有可能影響執行時間的不可預測元素,資源爭用造成干擾及時間誤差,以及如何在效能、低功耗、低延遲間取得平衡,都是必須克服的難題,所幸利用intel CPU中附屬的TCC、TSN技術就可解決。

TCC以在各個IO介面間建立硬體的方式,協調出獨立且不互相影響的方式達到時間同步,同時劃定資料從一個界面到另一個界面的延遲時間,確認任務可在時限內完成。TSN則是系統間的低延遲協定,在時間同步上有精確的時間協議,在外部網路傳輸具有即時性,低延遲特性。

除了Real-Time,搭載於手臂上的OpenVINO影像辨識系統也是一大特色,可根據實際應用場域作不同的調整,應用於藥廠時可藉由影像辨識區分不同藥物,於食品工廠中可用於挑揀出賣相不佳的餅乾等,應用範圍十分廣泛且靈活。

友尚集團F事業處經理Terry Wu向觀眾介紹邊緣運算在機械手臂上的應用。

Edge AI上路——智慧交通應用實例

「自動駕駛科技的核心其實是資料經濟。」曾帶領團隊,以即時路況偵測系統奪得Intel® DevCup x OpenVINO Toolkit競賽實作組亞軍的7StarlakeCEO丁彥允,對於OpenVINO的優點可說切身體會:「 OpenVINO中各種事先訓練過的模型及開發工具,能幫助開發者用最短的時間部署AI應用。」

7Starlake的即時路況偵測分析系統,選擇以路上來來往往的公車作為資料搜集的工具,在公車上搭載物件偵測模型,搜集即時資料並進行分析。
丁彥允表示,傳統的行車記錄儀固然也可以錄下交通狀況,但調閱資料檢視需要時間,固定路口的攝影機又侷限於位置,而利用AI自動實時檢測同時進行違規情況分析,可以更完整及時的掌握違規或事故狀況,將情形回報執法單位,提高效率的同時,也可以震懾違法事件,預防交通事故發生。

7Starlake CEO丁彥允向觀眾分享AI在智慧交通中的應用。

小結

Edge AI 作為目前AI領域的一大發展趨勢,重要性不言而喻,希望透過此次論壇分享,來賓們對邊緣運算都有更深的了解。

謝涵如
謝涵如

Author: 謝涵如

喜歡窩在自己的一方世界裡寫作閱讀,也喜歡四處旅遊找驚喜,希望能多接觸學習各種知識,從中拼湊出世界的全貌。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *