|

最新版OpenVINO 2023.0問世:更輕鬆部署、加速AI應用!

   
作者:武卓、楊亦誠、Adrian Boguszewski、Anisha Udayakumar、Yiwei Lee、Stephanie Maluso、Raymond Lo、Ryan Loney、Ansley Dunn、Wanglei Shen

OpenVINO 五週年紀念日即將來臨的此刻,我們想花點時間對您在過去五年中對OpenVINO的持續使用表示最深的感謝。到目前為止,這是一段不可思議的旅程,我們很自豪您能成為我們社群中的一員,來自社群的持續支持讓我們的下載量超過了100萬次。

在紀念這個重要的里程碑之際,我們很興奮地宣佈OpenVINO最新版本──OpenVINO 2023.0問世!它具有一系列新的特性和功能,能讓開發者更輕鬆地部署和加速人工智慧(AI)。

2023.0版本的重點是透過最大限度減少離線轉換、擴大模型支援和推進硬體最佳化來改善開發者之旅。完整的版本說明可點此連結查看,重點如下:

  • 儘量減少AI開發者在採用和維護程式碼時所需的修改,並與各種深度學習框架保持更好的一致性。

    • 全新的TensorFlow體驗:簡化從訓練到部署TensorFlow模型的工作流程。
    • 可以用Conda Forge!對於習慣使用Conda的C++開發者來說,更容易安裝OpenVINO Runtime。
    • 更廣泛的處理器支援:對Arm處理器的支援現在包含在OpenVINO CPU推論運算中,涵蓋動態形狀(dynamic shapes)、完整的處理器性能和廣泛的程式碼範例/Notebook教程
    • 擴展對Python的支援增加了對Python 3.11的支援,以獲得更多潛在的性能改善。

  • 在包括NLP在內的更多模型上輕鬆實現最佳化和部署,並藉由新的硬體功能獲得更多的AI加速。

    • 更廣泛的模型支援:支援生成式AI模型、文本處理模型、Transformer模型等。
    • 支援GPU的動態形狀:使用GPU時,不需要將模型改為靜態形狀,這在編寫程式碼時提供了更多的靈活性,特別是NLP模型。
    • NNCF是首選量化工具:將訓練後量化(POT)整合到神經網路壓縮框架(Neural Network Compression Framework,NNCF)中,有了它,透過模型壓縮,更容易取得大幅度的性能提升。

  • 透過自動裝置搜尋(automatic device discovery)、負載平衡,以及跨CPUGPU等的動態推論平行,可以直接看到性能的提升。

    • CPU外掛程式中的執行緒調度:藉由在Intel第12代酷睿(CORE)及以上版本的CPU的效率核心(E-cores)、性能核心(P-cores)或兩者一起執行推論來最佳化性能或功耗。
    • 預設推論精度:預設為不同的格式,以在CPU和GPU上提供最佳性能。
    • 模型快取擴展:減少GPU和CPU的首次推論延遲。

探索OpenVINO 2023.0新功能

現在,讓我們對上面介紹的一些新功能進行深入研究。

全新的TensorFlow體驗

現在,TensorFlow開發人員可以更容易地從模型訓練轉移到模型部署,無需離線將TensorFlow或TensorFlow Lite格式的模型檔轉換為OpenVINO IR格式──這會在執行時自動轉換。現在,您可以開始試驗Model Optimizer,以改善有限範圍模型的轉換時間,或者直接在OpenVINO Runtime或OpenVINO Model Server中載入標準TensorFlow/TensorFlow Lite模型。

下圖顯示了一個簡單的範例:

圖1:部署TensorFlow/TensorFlow Lite模型的通用工作流程 圖1:部署TensorFlow/TensorFlow Lite模型的通用工作流程

AI開發者可以找到更多對生成式AI模型的更多支援,例如 、BLIPStable Diffusion 2.0具備ControlNet的Stable diffusion ,以及對文本處理模型的支援、對Transformer模型的支援,例如S-BERT、GPT-J等,還有對Detectron2、Paddle Slim、Segment Anything Model (SAM) YOLOv8 、RNN-T等模型的支援。

本文為會員限定文章

立即加入會員! 全站文章無限看~

                               

已經是會員? 按此登入

只需不到短短一分鐘...

輸入您的信箱與ID註冊即可享有一切福利!

會員福利
1

免費電子報

2

會員搶先看

3

主題訂閱

4

好文收藏

武卓

Author: 武卓

武卓博士現任英特爾AI軟體佈道師

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *