一般採用深度學習(Deep Learning, DL)方式的人工智慧(Artificial intelligence, AI)應用，在開發時須經過資料收集標註、模型選用訓練及最後部署到指定硬體進行推論工作。在訓練模型參數過程需經過數千到數萬次的推論才能使得參數最後收歛到足夠高的推論精度，而這項工作是須要耗費大量算力，所以通常會選用算力較高的硬體裝置（如GPU, TPU, FPGA）來完成。
當完成訓練後，推論只需執行一次便可得到結果，明顯可看出算力需求的差異。若推論時仍採用訓練時的裝置，雖可得到極佳的推論效能及無痛移轉部署，但所需的硬體成本也會連帶提升數十到數百倍，更不要說硬體裝置龐大的體積及功耗，所以很難適用到大部份的邊緣智能(Edge AI)應用。
通常邊緣智能應用有獨立性（不連網）、低延時、高隱私、低成本、低功耗及大量部署的特性，換句話說，其硬體效能可能就像腳踏車、機車，遠遠不如訓練模型用有如高鐵甚至飛機般高效能的硬體。因此如何將訓練好的模型經過適當的優化、減量及部署到不同的可推論硬體裝置就變成另一項重要課題。
為了讓邊緣智能應用能以更輕量、更彈性地將訓練好的模型部署到各種邊緣裝置上進行推論，2018年5月Intel推出了OpenVINO toolkit (Open Visual Inference and Neural network Optimization，以下簡稱OpenVINO)。
這項工具包不僅協助開發者解決不同AI開發框架（如TensorFlow, PyTorch, Mxnet, Caffe …）產生的模型導入，同時將模型轉換成統一的中介表達格式(Intermediate Representation, IR, 模型結構XML檔加模型權重BIN檔)，方便推論引擎(Inference Engine)在自家的各種硬體(CPU, GPU, iGPU, FPGA, VPU)進行推論，如此就不必為了部署在不同硬體上要重新開發問題。
Intel OpenVINO從2018年5月（2018 RC5）問世直至2022年3月（2022.1版），已更新了16版次，期間支援了更多的硬體（如Intel Iris Xe GPU等）、框架（如PaddlePaddle, ONNX等）、模型（包含Intel’s Pre-Trained, Public Pre-Trained / Open Model Zoo等）並提供了更多的應用範例（如Samples, Jupyter Notebook Turotials等），而2022.1版則是這三年半來最大幅度的更新。此次更新包含如下幾大亮點，接下來就幫大家簡單盤點一下，如果需要更完整的訊息，可參見官方釋出的說明文件。
- 提供更多樣便捷的安裝方式
- 支援更多類型硬體及異構推論
- 增加更多預訓練模型及公開模型庫
- 更簡潔有力的API程式開發
- 模型優化參數簡化及自動化
- 部署時更智能管理硬體裝置
提供更多樣便捷的安裝方式
在OpenVINO 2021.4版本之前，本來就有支援多種作業系統（如Linux, Windows, macOS, Raspbian等）及多種安裝方式（Installer, PIP, Docker, Conda, APT, YUM等）。安裝時亦會將相關工具（如Model Optimizer, Benchmark Tool, Accuracy Checker and Annotation Converter, Post-Training Optimization Tool, Model Downloader and other Open Model Zoo Tools等）、相依套件（如OpenCV, OpenCL, DL Streamer, oneVPL等）一起安裝。
雖然這樣很方便開發，但在部署時就會變得太龐雜，且佔用很多安裝空間。
所以如Fig. 1所示，在2022.1版時除保留原先多樣性的安裝彈性外，更加入PyPl來源的安裝方式，讓使用Python開發環境的朋友能更容易安裝OpenVINO。同時也將運行所需基礎元件(OpenVINO Runtime)和開發工具採用分開安裝方式，方便部署時能節省時間及空間。
如果您是OpenVINO的高手，總是想嚐試在官方正式釋出前的最新版本，那亦可直接從Github上下載，自行編譯。不過開源的版本並不包含FPGA相關內容，須等官方正式釋出。更完整的操作程序可參見官方說明文件。
另外如果您是Python的使用者，從這個版本開始就可支援Python 3.9，可更方便使用Python相關套件包。
只需不到短短一分鐘...
輸入您的信箱與ID註冊即可享有一切福利!
會員福利
免費電子報
會員搶先看
主題訂閱
好文收藏
.jpg)
.jpg)