用OpenVINO C# API部署YOLOv9目標檢測和實例分割模型

Posted By OpenVINO作者群 on 4 月 19, 2024 in Edge AI應用案例, Edge AI開發地圖, Intel, LLM, OpenVINO專欄, OpenVINO教學文, 影像分割, 教學文 | 0 comments

YOLOv9模型是YOLO系列即時目標檢測演算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。它透過導入先進的深度學習技術和創新的架構設計，如通用ELAN (GELAN)和可程式化梯度資訊(PGI)，顯著提升了物體檢測的性能。在本文中，我們將結合OpenVINO C# API使用最新發佈的OpenVINO 2024.0部署YOLOv9目標檢測和實例分割模型。

• OpenVINO C# API專案請點此連結。
• 使用OpenVINO C# API部署YOLOv9所需的完整原始程式碼請點此連結。

OpenVINO C# API

英特爾(Intel)發行版本OpenVINO工具套件基於oneAPI而開發，可以加快高性能電腦視覺和深度學習視覺應用開發速度工具套件，適用於從邊緣到雲端的各種英特爾平台上，幫助用戶更快地將更準確的真實世界結果部署到生產系統中。透過簡化的開發工作流程，OpenVINO可賦能開發者在現實世界中部署高性能應用程式和演算法。

2024年3月7日，英特爾發佈了2024.0版的開源OpenVINO工具套件，用於在各種硬體上最佳化和部署人工智慧推論。OpenVINO是英特爾出色的開源AI工具套件，不僅可以在 x86_64 CPU上加速AI推論，還可以在Arm CPU和其他架構、英特爾整合式顯卡和獨立顯卡等硬體上加速AI推論，包括最近推出的NPU外掛程式，可用於利用新一代Core Ultra (代號Meteor Lake)系統晶片中的英特爾NPU。

OpenVINO 2024.0也更注重生成式AI (GenAI)，能為TensorFlow句子編碼模型提供更好的開箱即用體驗，並支援混合專家架構(MoE)。同時還提高了LLM的INT4權重壓縮品質，增強了 LLM在英特爾CPU上的性能，簡化了Hugging Face模型的最佳化和轉換，並改善了其他 Hugging Face整合。

OpenVINO C# API是一個OpenVINO的.Net wrapper，應用最新的OpenVINO程式庫開發，透過OpenVINO C# API 實現.Net 對OpenVINO Runtime呼叫，使用習慣與OpenVINO C++ API 一致。因為OpenVINO C# API是以OpenVINO為基礎開發，所支援的平台與OpenVINO完全一致，具體資訊可以參考OpenVINO。透過使用OpenVINO C# API，可以在.NET、.NET Framework等框架下使用C#語言，實現深度學習模型在指定平台的推論加速。

下表為當前發佈的OpenVINO C# API NuGet Package，支援多個目標平台，可以透過NuGet一鍵安裝所有依賴。