輕鬆實現邊緣裝置即時異常檢測與LLM對話機器人

Posted By MakerPRO編輯部 on 8 月 6, 2024 in Edge AI解決方案, Edge AI開發地圖, OpenVINO, 活動報導 | 0 comments

文章導覽

將 AI 模型部署在資源受限的邊緣裝置上，是許多開發者面臨的挑戰。在 2024 年 7 月 31 日舉辦的第五場OpenVINO DevCon 線上講座，來自Intel的專家楊亦誠與武卓以電腦視覺與異常檢測應用為例，讓聽眾了解如何使用開源Anomalib函式庫，透過不平衡資料集進行無監督學習，即時處理罕見異常，改善製造、醫療、農業等領域的品質控制；此外詳細介紹了OpenVINO 2024.2 版本新增加的 GenAI API 功能以及檢索增強生成(RAG)技術，如何以更簡化的流程在邊緣裝置部署能提供精準答案的 LLM 對話機器人(Chatbot)。

講座壓軸則由Intel Software Innovator、淩耀電子經理林士允 (Felix)，以專業開發者角度分享他在資源受限的單板電腦上進行LLM 推論以及搭建離線語音 AI 助理的實作案例，帶領線上近200位聽眾體驗OpenVINO 2024.2 在模型壓縮與量化的強大功能，

邊緣設備上的即時異常檢測

在講座的第一部分，楊亦誠與武卓詳細講解了如何利用OpenVINO與Anomalib函式庫在邊緣裝置上實現即時異常檢測，以推動AI技術在工業製造、智慧城市等領域的應用，並以實例展示了在邊緣裝置上進行即時數據處理的實際運作。Anomalib開源函式庫，能夠設計、開發和部署深度學習異常檢測算法，特別適合在資源有限的邊緣裝置上運行。該函式庫的模組化API使開發者能輕鬆客製異常檢測模型，並透過CLI進行整個機器學習生命周期的端對端配置。這些特性使其成為工業缺陷檢測、交通監控和零售等應用場景中的理想解決方案。

在技術實現方面，OpenVINO提供了強大的模型優化能力，包括將模型轉換為IR格式以適應不同的硬體架構。這不僅提高了推論速度，還大幅減少了記憶體佔用和二進位大小，使開發者能夠在邊緣設備上部署高效能的異常檢測模型。例如，演講中展示的案例中，開發者利用小型設備連接機械手臂和攝影機，實現了高效的瑕疵檢測。該系統能夠快速識別產品中的瑕疵，並將有缺陷的產品從生產線中移除。

此外，英特爾提供了「輕量AI」、「中量AI」和「重量AI」的不同計算選項，讓開發者根據場景需求選擇最適合的硬體組合，無論是需要低功耗的簡單任務，還是高效能的生成式AI應用，都可以使用CPU、GPU和NPU等設備進行靈活部署。

LLM對話機器人的邊緣實現

在講座的第二部分，楊亦誠與武卓則展示了如何在小型邊緣設備上實現大規模LLM對話機器人。利用OpenVINO為開發者提供的簡化的API，使LLM能在資源有限的環境中高效運行，適用於多種應用場景，開發者只需使用幾行程式碼即可輕鬆部署對話系統。OpenVINO的GenAI API進一步簡化了生成式AI模型的推理過程，允許開發者在Python或C++環境中進行高效推論。相較傳統的Optimum Intel工具，GenAI API佔用的依賴和磁碟空間更少，僅需約200 MB，大幅降低了開發的門檻和系統負擔。

除了基礎的LLM對話系統，講者也深入介紹了RAG技術，透過結合外部知識庫，能讓模型更好地處理特定領域的專業問題，這在商業應用中尤其實用。開發者可透過LlamaIndex等工具，快速構建檢索引擎，並將LLM與資料庫中的資訊整合，使模型生成的答案更加精確。進一步的技術展示包括進階的RAG系統，能夠根據不同的查詢需求自動選擇合適的檢索工具。這種系統可以處理更為複雜的問題，如總結文字或進行多輪推論，滿足了商業應用中對於精確資料處理的需求。

搭建語音 AI 助理

講座壓軸由林士允展示了如何利用OpenVINO在小型邊緣設備上構建高效語音AI助理和LLM對話系統的實例。這些應用結合自動語音識別(ASR)技術，讓邊緣裝置在語音互動中表現出強大的運算能力，即使在硬體資源有限的情況下，仍能提供穩定的AI性能。

首先，語音AI助理的應用範例中，林士允展示了如何在虛擬醫師助理場景中，使用一台小型邊緣設備進行實時對話。該設備僅搭載Intel N97處理器、8GB RAM和64GB的儲存空間，功耗不到30瓦，但仍然能夠運行語音識別和對話系統；這樣的系統不僅可以改善醫療診斷前的初步互動，還可以用於語音助理在其他專業領域的應用，如健康管理、旅遊規劃等。開發流程也得到了簡化，OpenVINO中的GenAI API提供了高度整合的開發環境，開發者僅需幾行代碼即可完成模型的轉換和優化，並將其部署於邊緣裝置。例如，透過簡單的指令可以將語音識別模型如OpenAI的Whisper模型轉換為適合邊緣運行的版本，同時支持中英文語音輸入，使得AI助理在全球範圍內具有多語言適應性。

另一個展示案例是旅遊規劃嚮導，該應用使用LLM生成旅遊建議，並結合語音輸入進行互動。此系統透過繁體中文訓練的模型，如台灣本地化的TAIDE-7B模型，能為使用者提供精確的景點介紹和行程規劃建議。這不僅展示了AI助理在本地化語境下的應用潛力，還說明了OpenVINO在輕量化硬體上的強大運作能力。