最新版OpenVINO 2023.0問世：更輕鬆部署、加速AI應用！

Posted By 武卓 on 6 月 14, 2023 in Edge AI, Intel, OpenVINO, OpenVINO專欄, OpenVINO教學文, Stable Diffusion, 教學文, 產品新訊, 開發平台 | 0 comments

OpenVINO 五週年紀念日即將來臨的此刻，我們想花點時間對您在過去五年中對OpenVINO的持續使用表示最深的感謝。到目前為止，這是一段不可思議的旅程，我們很自豪您能成為我們社群中的一員，來自社群的持續支持讓我們的下載量超過了100萬次。

在紀念這個重要的里程碑之際，我們很興奮地宣佈OpenVINO最新版本──OpenVINO 2023.0問世！它具有一系列新的特性和功能，能讓開發者更輕鬆地部署和加速人工智慧（AI）。

2023.0版本的重點是透過最大限度減少離線轉換、擴大模型支援和推進硬體最佳化來改善開發者之旅。完整的版本說明可點此連結查看，重點如下：

• 儘量減少AI開發者在採用和維護程式碼時所需的修改，並與各種深度學習框架保持更好的一致性。

  • 全新的TensorFlow體驗：簡化從訓練到部署TensorFlow模型的工作流程。
  • 可以用Conda Forge！對於習慣使用Conda的C++開發者來說，更容易安裝OpenVINO Runtime。
  • 更廣泛的處理器支援：對Arm處理器的支援現在包含在OpenVINO CPU推論運算中，涵蓋動態形狀(dynamic shapes)、完整的處理器性能和廣泛的程式碼範例/Notebook教程
  • 擴展對Python的支援：增加了對Python 3.11的支援，以獲得更多潛在的性能改善。

• 在包括NLP在內的更多模型上輕鬆實現最佳化和部署，並藉由新的硬體功能獲得更多的AI加速。

  • 更廣泛的模型支援：支援生成式AI模型、文本處理模型、Transformer模型等。
  • 支援GPU的動態形狀：使用GPU時，不需要將模型改為靜態形狀，這在編寫程式碼時提供了更多的靈活性，特別是NLP模型。
  • NNCF是首選量化工具：將訓練後量化(POT)整合到神經網路壓縮框架(Neural Network Compression Framework，NNCF)中，有了它，透過模型壓縮，更容易取得大幅度的性能提升。

• 透過自動裝置搜尋(automatic device discovery)、負載平衡，以及跨CPU、GPU等的動態推論平行，可以直接看到性能的提升。

  • CPU外掛程式中的執行緒調度：藉由在Intel第12代酷睿(CORE)及以上版本的CPU的效率核心(E-cores)、性能核心(P-cores)或兩者一起執行推論來最佳化性能或功耗。
  • 預設推論精度：預設為不同的格式，以在CPU和GPU上提供最佳性能。
  • 模型快取擴展:減少GPU和CPU的首次推論延遲。

探索OpenVINO 2023.0新功能

現在，讓我們對上面介紹的一些新功能進行深入研究。

全新的TensorFlow體驗

現在，TensorFlow開發人員可以更容易地從模型訓練轉移到模型部署，無需離線將TensorFlow或TensorFlow Lite格式的模型檔轉換為OpenVINO IR格式──這會在執行時自動轉換。現在，您可以開始試驗Model Optimizer，以改善有限範圍模型的轉換時間，或者直接在OpenVINO Runtime或OpenVINO Model Server中載入標準TensorFlow/TensorFlow Lite模型。

下圖顯示了一個簡單的範例：

圖1：部署TensorFlow/TensorFlow Lite模型的通用工作流程

AI開發者可以找到更多對生成式AI模型的更多支援，例如 、BLIP、Stable Diffusion 2.0、 具備ControlNet的Stable diffusion ，以及對文本處理模型的支援、對Transformer模型的支援，例如S-BERT、GPT-J等，還有對Detectron2、Paddle Slim、Segment Anything Model (SAM) 、YOLOv8 、RNN-T等模型的支援。