專家領航　輕鬆掌握生成式AI應用落地訣竅

Posted By MakerPRO編輯部 on 9 月 24, 2024 in AI PC, AIGC, AI關鍵技術, Edge AI解決方案, Edge AI開發地圖, Intel, LLM, OpenVINO, 活動報導 | 0 comments

生成式AI (AIGC)正迅速在各行各業掀起變革，從創意設計到自動化生產，其應用潛力受到廣泛關注；而AI PC的問世，則為需要即時反應與資料安全性的邊緣應用，提供了更具優勢的生成式AI部署解決方案。

聚焦相關技術趨勢，英特爾(Intel)代理商夥伴建智(Sertek)與捷波資訊(JetWay Information)聯合主辦了一場「AIGC to AIPC：掌握AI落地解決方法」論壇，與現場主要來自捷波資訊的聽眾，分享了最新的Intel架構AI PC特色，並重點介紹了時間敏感性網路(TSN)在AI即時應用中的關鍵作用，還有如何利用Intel的OpenVINO平台結合AI PC輕鬆部署創新邊緣AI應用。

捷波資訊營運副總童錫勳在論壇開場致詞時，分享了該公司運用生成式AI部署產品經理(PM)助理的經驗，表示這樣的工具在查詢規格種類繁多的公司產品價格時幫助很大，也讓團隊成員備感興奮，但目前只有初步進展，還需要進一步完善基礎設施才能實際應用；因此對於如何讓AI技術與公司產品和服務做更好的結合，捷波也期待能從建智的專業講師們在論壇上的分享獲得更多啟發。

捷波資訊營運副總童錫勳

Intel架構AI PC最新進展

在論壇的第一場演講中，建智資深經理王文麟分享Intel在AI PC應用方面的最新發展，強調了AI運算從雲端向邊緣與客戶端遷移的趨勢。他強調，Intel致力於將AI功能整合到各種運算平台，實現低延遲和用戶可控的隱私保護，同時降低商業應用的成本；這種從雲端到邊緣的無縫整合趨勢，使得AI應用不再受限於資料中心，真正實現「AI Everywhere」的願景。

王文麟也特別介紹了oneAPI，這是一個開放式跨架構的編程模型，允許開發者以單一程式碼基礎在多種架構間進行應用開發。此外，OpenVINO工具套件的升級，讓開發者能在從設備到雲端的多種平台上部署高效能推論應用，支援如TensorFlow與PyTorch等框架，並加快AI模型的開發進度。他還提到，Intel提供的三種AI運算引擎，包括CPU、GPU和NPU，能夠針對不同的應用需求進行最佳化；NPU可用於低功耗的AI工作負載，而GPU則適合數位內容創作，這些技術的結合為開發者提供靈活且高效的AI解決方案

建智資深經理王文麟分享Intel架構AI PC最新進展

針對AI裝置性能與兼容性的挑戰，Intel推出了Edge Software Device Qualification (ESDQ)認證專案，幫助AI PC與嵌入式裝置業者通過測試，確保其設備與Intel軟硬體能夠高度相容，並保證AI應用在邊緣場景下的運作穩定性與性能最佳化。這些技術的推進，使得Intel能夠提供從硬體到軟體的全方位支持，進一步促進AI技術的落地應用。

TCC與TSN支援即時系統低延遲應用

接著建智經理巫劻東介紹了Intel解決方案在即時系統中的應用，包括先進駕駛輔助系統(ADAS)以及高精密工廠自動化生產線，這些場景對系統即時反應的要求極高。為此，Intel透過對TCC (Time Coordinated Computing)時序協調技術與時間敏感性網路(Time Sensitive Networking，TSN)標準的支援，以及應用RDT (Resource Director Technology)資源監控等方法來協助開發者克服挑戰。

TCC 專注於系統內部的即時處理需求，透過硬體方式協調系統內部各介面的時間同步，確保資料在不同介面之間的傳輸延遲可控，不僅能簡化配置，且可支援更多任務的同步處理，提升系統內部的效率。未來，從Atom到Xeon的各類Intel處理器平台將持續支援TCC，提供更靈活的擴展性。另一方面，TSN則解決了系統之間的低延遲資料傳輸問題，讓工業網路實現安全可靠的資料傳輸，並保證低延遲的傳輸性能。TSN標準擁有開放的生態系統，有眾多合作夥伴參與其中，進一步促進工業自動化的發展。

建智經理巫劻東介紹Intel解決方案在即時系統中的應用

RDT技術則通過監控並管理系統內的記憶體與快取資源，確保多任務處理中的資源分配最優化。藉由CAT (Cache Allocation Technology)，RDT能針對緊急任務提高優先權，並將即時應用聚合至單一CPU，避免不同任務之間的資源爭奪，從而提高系統的整體效能。

以AI PC結合OpenVINO輕鬆部署邊緣AI應用

建智經理葉峒江則深入探討了AI PC在未來應用中的潛力，以及利用OpenVINO工具套件部署生成式AI應用部署到各種邊緣AI應用的優勢。OpenVINO不僅能輕鬆支援TensorFlow和PyTorch等主流機器學習框架，還能針對邊緣裝置進行如YOLO、SAM等物件辨識模型的最佳化，讓開發者快速部署機器視覺應用；其最新版本更強化了對生成式AI模型的支援。

根據葉峒江的介紹，OpenVINO提供三種靈活的使用模式，分別為地端安裝、雲端使用和容器部署，滿足不同開發者的需求。除視覺AI推論應用外，OpenVINO的新版本還支援生成式AI模型，包括文字生成圖片和聊天機器人等應用。相較於目前市場上商業應用多需付費的模式，開源OpenVINO平台以免費的方式提供，讓開發者以更具成本效益的方式實現高效能的AI應用部署。

建智經理葉峒江深入探討了利用OpenVINO工具套件部署生成式AI應用部署到各種邊緣AI應用的優勢

建智經理葉峒江深入探討了利用OpenVINO工具套件部署生成式AI應用的優勢

而葉峒江也介紹了Intel架構AI PC的兩種不同硬體組合：Rock Island 使用CPU加內建顯示卡的配置，能達到出色的效能；而McLaren Island則推薦結合iGPU與NPU，能支援更高運算需求的AI應用。這些硬體配置可在大多數應用場景中提供卓越的AI運算性能，滿足從推論到訓練的各類需求。透過OpenVINO工具的Performance Benchmarks功能，還可根據不同參數展示經過驗證的效能結果圖表，讓客戶對於Intel平台的AI運算效能有更清楚的了解。

除了以上內容豐富的技術演講，論壇現場也實際展示了以Intel架構AI PC結合OpenVINO工具平台實現的聊天機器人、文生圖、即時物件偵測以及TSN相關應用；建智的應用工程師團隊與現場聽眾熱烈交流，讓與會者不但收穫了豐富的技術新知，也從實機操作對AI PC能帶來的效益有更深刻的了解，對於落地生成式AI的應用更具信心!