AI加速產業轉型　專家剖析關鍵技術趨勢

Posted By MakerPRO編輯部 on 7 月 11, 2024 in AI PC, Edge AI應用案例, Edge AI解決方案, Edge AI開發地圖, Edge AI開發環境, LLM, OpenVINO, 活動報導 | 0 comments

文章導覽

人工智慧(AI)浪潮席捲全世界，6月初落幕的台北國際電腦展(Computex)更是炒熱了AI PC相關議題，各家PC品牌大廠紛紛於展會期間發表結合尖端處理器技術與AI功能的新產品，讓人對這些AI PC將如何提供顛覆性使用體驗、提升產業生產力，以及催生創新應用充滿期待。

在一場由處理器大廠英特爾(Intel)代理商夥伴──電子零組件通路業者建智(Sertek)主辦的「產業AI轉型關鍵技術論壇」上，就邀請到了來自產業界、開發社群與學界的專家分享最新AI PC技術趨勢，以及使用OpenVINO開放性工具平台在AI PC上輕鬆部署創新邊緣應用的實際案例，不但讓與會者親眼見識到AI PC的威力所在，也對於AI軟硬體新科技能帶來的效益更具信心。

為什麼人們需要AI PC？Sertek資深經理王文麟在開場專題演說中，從介紹Intel致力於將AI功能融合至網路邊緣設備、客戶端設備，並與雲端資料中心無縫串接，以實現「AI Everywhere」──即AI民主化──願景的NEX (Network and Edge)部門AI策略出發，來說明AI PC在其中扮演的關鍵角色。

Intel以強大軟硬體支援AI PC扮演實現「AI Everywhere」願景的關鍵角色。(圖片來源：Sertek)

他表示，透過包括CPU (Intel Xeon、Core Ultra與Atom)、GPU (Intel ARC)與NPU的陣容強大硬體，以及支援PyTorch、TensorFlow等通用機器學習框架的OpenVINO軟體工具，無論是像是自動結帳、智慧停車等輕量型AI應用，或是需要更多視訊處理性能的中量、重量級AI應用案，例如保全監控、醫療影像等等，Intel能針對不同需求提供解決方案，以具彈性的硬體組合搭配軟體平台實現應用最佳化。

而針對在AI應用中特別受到矚目的GPU，王文麟也詳細介紹了Intel專為邊緣應用開發的ARC系列產品性能與技術發展藍圖，以及與各家工業電腦合作夥伴包括研揚(AAEON)、凌華(ADLINK)、研華(Advantech)等等業者合作開發的繪圖卡產品。Intel並有專為邊緣裝置提供的 Edge Software Device Qualification (ESDQ)認證專案，能協助AI PC、嵌入式裝置業者透過測試確保其性能符合與Intel軟硬體的兼容性以及運作AI應用的性能。

從PC到AI PC的「進化」

資深開發者、Edge AI Taiwan社群版主許哲豪博士(Jack Hsu)則從Intel在Computex發表的最新款CPU，來看該公司在AI PC相關技術上的發展趨勢。他指出，結合CPU與GPU、NPU的Core Ultra (代號Meteor Lake)系列處理器是Intel首款專為AI運算應用所推出的解決方案，即將於2024年推出的Lunar Lake以及預計2024年推出的Arrow Lake，除了將利用高頻寬記憶體(HDM)來進一步提升整體運算性能，值得一提的是，透過OpenVINO平台的功能，開發者在採用Intel架構的AI PC上，將可以享受到性能加乘的效果。

Intel持續提升NPU算力性能。(圖片來源：許哲豪)

許哲豪表示，Lunar Lake將GPU算力推進至67TOPS，NPU亦可達到48TOPS，讓整體推論性能達到120TOPS，這是因為OpenVINO能自動適當調用及配置所有硬體算力，將不同性質工作分配到不同硬體上處理。NPU能在生成式AI模型的應用中，以更高的效率、更低功耗支援像是文生圖等任務，因此在AI PC的架構中可說是不可或缺，但它與GPU一樣無法獨立存在，必須依附於CPU下運作，Intel在2023年底發表的AI PC概念將高效節能的 NPU 加入 CPU中，主打支援PC的AI推論，NPU性能也更受到市場矚目，今年Computex除了Intel，其他各家業者也紛紛強調自家的NPU性能提升。

但若缺少像是OpenVINO這樣簡單易用的平台，恐怕仍無法充分發揮NPU的性能。許哲豪在演講中也特別介紹最新版本OpenVINO結合Intel架構AI PC能帶來的種種優勢，包括支援更高精確度的NNCF模型壓縮，以及將CPU、GPU與NPU性能充分調配運用的異質加速功能；此外對各種AI框架的直接支援、使得開發流程更一步簡化，以及內容更豐富的Notebook範例資源庫，能讓開發者更輕鬆實現包括電腦視覺、自然語言處理以及文字影音生成等等應用。許哲豪在演說最後透過在Intel架構AI PC上的應用實例展示，讓與會者見證OpenVINO平台帶來的開發效益。

OpenVINO是讓AI PC充分發揮效能的關鍵。(圖片來源：許哲豪)

OpenVINO實例應用：健身設備姿態辨識

慈濟大學醫學資訊學系的李盛安教授，則分享了他在過去兩年利用OpenVINO進行姿態辨識應用實作的相關應用成果，讓與會者對該工具平台的效益有更進一步的了解。

運用OpenVINO開發健身設備運動姿態AI評估系統的範例展示。(資料來源：李盛安)

李盛安表示，投入這個應用專案的動機是在一開始原本想監測學生在課堂上的專注度與學習行為，後來發現姿態辨識是相當有趣也容易進行的題目，只要有網路攝影機並透過開源的AI模型(如Yolov8)，就能收集大量的資料來進行開發。將相關結果應用於運動教練輔助工具中，能幫助教練更準確指導學生的運動姿勢，並透過視覺化方式即時回饋給使用者；而在健身房設備的使用上，則能幫助健身者防止運動傷害並達到更好的健身效果。

以AI模型進行姿態辨識應用的開發步驟。(資料來源：李盛安)

在該專案研究過程中，李盛安指出收集資料時環境的背景干擾，例如其他人的移動，會影響姿態辨識的準確性，這需要進行額外的前處理如過濾背景雜訊、穩定拍攝畫面等等；而在進行運動AI辨識時，特徵點的提取和標註也存在挑戰，特別是在多人環境中，如何準確地提取每個人的姿態特徵是一個需要解決的問題。目前他正在探索如何將不同來源資料融合以提高辨識效果，提供更準確和全面的運動分析，並嘗試使用不同的開源模型並將它們整合到現有系統中，以擴展系統的功能和應用範圍。

運用Intel軟硬體方案快速部署Edge AI應用

最後的壓軸場次中，Sertek 資深經理林軒民介紹了利用Intel的軟硬體解決方案快速部署Edge AI推論應用的技術細節與範例；在硬體方面的選項包括Intel的Atom、Xeon系列CPU，還有ARC 系列GPU，或是結合GPU與NPU的最新Core Ultra處理器，在軟體方面即是OpenVINO。他強調，OpenVINO可實現在不同硬體設備的高效率推論任務，而模型最佳化是一大關鍵，特別是在記憶體和運算資源有限的情況下，模型最佳化不僅能提升運作效率，也能讓Edge AI裝置的應用更順暢。

OpenVINO可實現在不同硬體設備的高效率推論任務，而模型最佳化是一大關鍵。(圖片來源：Sertek)

除了以OpenVINO實現AI推論應用，Intel還有Geti軟體可透過SaaS模式支援影像模型的訓練以實現機器視覺應用。Sertek的團隊也以實機展示大型語言模型(LLM)的微調，還有文生圖、聊天機器人(Chatbot)以及物件偵測的應用範例。與會者不但從演說中獲得了豐富的技術新知，也從實機操作以及與現場工程師的互動中，對AI PC與Edge AI相關解決方案能帶來的效益有更深刻的了解，收穫滿滿！