以人工智慧(AI)結合機器視覺支援各種影像辨識任務的相關應用越來越廣泛，如工業生產線瑕疵檢測、辦公大樓保全門禁、智慧城市交通流量管理、零售業對顧客人流監測等等。在日前一場由處理器大廠英特爾(Intel)代理商夥伴──電子零組件通路業者建智(Sertek)主辦的「Visual to AIGC智慧應用落地部署實務論壇」技術研討會，就邀請到來自不同領域的專業廠商分享在部署邊緣AI視覺應用的成功案例。
OpenVINO實現無所不在的AI
Intel在2018年推出的邊緣AI推論應用開發工具套件OpenVINO，在這些成功應用案例中扮演了關鍵性角色；Sertek 資深協理杜灝叡在開場致詞中表示，從雲端到邊緣，運算已經滲透到大眾生活的各個角落，結合覆蓋廣泛的網路連結，再加上OpenVINO開源工具以及Intel的一系列硬體解決方案，AI將在我們的生活中無所不在。
專長AI應用及實現技術解決方案的Sertek經理葉峒江，在接下來的專題演說中對OpenVINO的功能與優勢做了詳細介紹，包括其最新版本對生成式AI 模型的支援。該工具套件支援TensorFlow、PyTorch等主流機器學習框架，能協助開發者輕鬆針對邊緣裝置硬體進行Yolo、SAM等物件辨識AI模型的最佳化，快速部署機器視覺智慧應用。
OpenVINO支援三種使用模式。(圖片來源：Sertek)
他指出，OpenVINO可支援地端(on-premises)安裝、雲端使用、容器部署三種使用模式；除了支援視覺AI (Visual AI)推論應用的部署；新版本還能支援生成式AI模型如文字生成圖片(Text to Image)、聊天機器人(Chatbot)等AIGC功能，相較於當紅OpenAI ChatGPT在商業應用需要付費的模式，可免費下載的開源OpenVINO平台，能讓開發者以更具成本效益的模式實現理想中的應用功能。
AI視覺部署案例：機場自動通關
專長工業電腦設計的研尚科技(AdvanIPC)專案工程師潘俊諺，分享了該公司在邊緣部署智慧影像辨識應用的案例──機場自動通關系統的硬體建置。他表示，客戶在一開始會認為只要已經有已經建置完成的臉部辨識AI模型，就只要選擇合適的硬體就可以完成這類應用的部署；但事實上，在選用了新的硬體之後，還需要針對硬體進行AI模型的最佳化、經過多次測試才能完成任務。
透過Sertek的協助，研尚以Intel硬體(Tiger-Lake處理器)搭配OpenVINO開發工具的展示模式，透過性能比較與分析數據，成功說服客戶更新現有系統並迅速完成部署。潘俊諺表示，該公司從這個被命名為「PROJECT.D」開發專案經驗，充分感受到OpenVINO的靈活性，也建立了一套與客戶溝通的技術語言與展示模式，可以期待接下來將催生更多的AI創新應用。
AI視覺部署案例：即時字幕直播錄影機
而對於AI視覺應用的發展前景，專精影音網路化(AV-over-IP)技術的奇勤(AREC)有特別獨到的見解；該公司董事長陳武吉博士表示：「影像編解碼技術與AI視覺應用有相當緊密的關係，若能相輔相成，共同將產業專業知識、人性化與自動化密切結合，不但有機會為產業提供更高效的解決方案，也會是大家更期待的AI視覺大未來。」
奇勤獲得台灣精品獎的AI即時字幕直播錄影機KS-CC1就是最佳案例之一。該產品結合公司既有的影音截取、編解碼、融合、錄影串流、遠距管理等影音網路化處理技術與Google AI自動語音辨識功能，能在現場活動支援演說文字的即時顯示，還可同時支援最多2種語言翻譯，以及錄影與現場直播等功能。
獲得台灣精品獎的奇勤AI即時字幕直播錄影機KS-CC1。(圖片來源：AREC)
陳武吉指出，AI與機器視覺的結合正為教育、保全、自動駕駛、精準醫療與高齡者照護、智慧製造、生產線節能減碳，以及元宇宙等應用領域帶來更多價值與創新；奇勤將繼續以在數位影音領域累積的影音編解碼與各項整合技術，滿足各領域對AI視覺在高階影像應用和後端處理的需求。
滿足即時系統的低延遲要求
在邊緣AI視覺應用中有部分是特別需要即時反應的系統，像是車輛的先進駕駛輔助、要求高精密度的工廠自動化生產線等；針對這類對低延遲性要求特別嚴苛的即時系統設計，Sertek經理巫劻東介紹了Intel處理器如何透過對TCC (Time Coordinated Computing)技術與TSN (Time Sensitive Networking)標準的支援，以及應用RDT (Resource Director Technology)資源監控等方法來協助開發者克服挑戰。
巫劻東表示，即時性解決方案的挑戰主要是最不可預測的元素決定了最壞情況的執行時間，此外資源爭用造成干擾及時間誤差(Jitter)，以及需要思考如何在效能、低功耗、低延遲間取得平衡。要達到即時系統效能要求，只靠單一設備內的低延遲是不夠的，系統最遠的兩端需要達到低延遲，讓每個元素在特定的時間內以可靠、可預測的方式執行，並預先計算傳遞路徑間的延遲，才能預測實際上的延遲時間。
Intel的即時系統技術。(圖片來源：Sertek)
TCC以硬體方式來協調各界面獨立、不互相影響的同步時間，劃定資料從一個界面到另一個界面的延遲時間，藉此計算出延遲時間讓任務在時限內完成。RDT則像是機場塔臺，能進行複雜的資源調配，透過資源調度軟體(orchestrator)、作業系統、Hypervisor的指派，將目前所承載的執行緒、虛擬機器，對應為不同的資源監控代號，以及服務類別。
而因電腦執行速度快，很難在單一系統中查覺是否支援TSN低延遲的差異，Sertek透過平衡球(Balancing Ball)──維持及控制一顆鐵球在平台上移動──來展示Intel系統的TSN低延遲功能。巫劻東解釋，將平衡球控制平台拆分為調整放置鐵球平台角度，以及感測鐵球在平台上位置的兩個系統，可計算TSN資料傳輸的時間差，也能透過在系統間傳送雜訊干擾源來測試當網路忙碌狀態時，是否仍能達到TSN效能要求；Intel硬體在量測中的延遲性都可維持平均100µs (microsecond)以下。
AI視覺部署案例：智慧交通新未來
智慧交通相關應用是AI視覺最能發揮優勢的領域之一，已成功在台灣掛牌上櫃的車載電腦系統開發商鑫創電子(SINTRONES)有相當豐富的經驗以及獨門解決方案。鑫創電子創辦人、現任董事長暨總經理許育瑞表示，該公司的電腦系統架構擁有專利無風扇設計，結合性能強大的CPU/GPU，為各種車輛的車載單元(OBU)與實現智慧交通所需的路側裝置(RSU)提供產品陣容堅強的多元化選項。
除了OBU/RSU，鑫創電子亦可提供電動車充電樁、智慧座艙(Smart Cockpit)解決方案；許育瑞指出，新一代電動車的座艙設計將會包含更大尺寸的顯示螢幕，並結合感測器與車載電腦的AI功能，讓駕駛人與乘客有更安全與舒適的乘坐體驗。
結合AI視覺的智慧農業車載電腦可助力提升農作物產量。(圖片來源：SINTRONES)
此外他還分享了AI視覺在農業用車輛的應用案例，結合監測土壤濕度、溫度、光照、空氣品質等數據的感測裝置，將即時農地資訊概況以及經過AI分析的結果呈現在的抬頭顯示器上，農友可據此調整灌溉、施肥、病蟲害防治等工作，提高農作物的產量和品質，同時減少浪費和環境影響。
- Himax展示新一代WiseEye超低功耗AI智慧感測方案 - 2024/04/23
- 為AI/ML工作負載最佳化 Alif新推BLE MCU - 2024/04/11
- Arm新一代Ethos-U NPU與IoT參考設計平台亮相 - 2024/04/10
