【Edge AI開發工具】OpenVINO功能教學 – Accuracy Checker與POT
關於此課程
完成深度學習模型的最佳化以部署於Edge AI裝置之前,確保經過量化與壓縮之後的模型準確率符合終端應用要求,是一個相當重要的步驟;為此Intel的OpenVINO開發平台提供了準確率驗證工具Accuracy Checker,能協助開發者輕鬆評估深度學習模型最佳化前後的準確率變化。而針對訓練後深度學習模型的量化與壓縮流程,OpenVINO也提供了號稱能顯著縮小模型、同時將將度維持在一定水準並能提升推論效能的最佳化工具Post-training Optimization Tool (POT)。
在本課程中,講師將分別以不同單元為大家介紹Accuracy Checker與POT兩項重要的OpenVINO功能所扮演之角色,以及它們的特色與優勢所在。
單元一:以Accuracy Checker工具驗證深度學習模型準確率
Accuracy Checker是一個可擴展、靈活、且可被配置的深度學習準確率驗證框架,採用模組化設計,能設計出可複製的準確率驗證管道,並支援常見的熱門資料集以及OpenVINO所支援的模型框架。.yml格式的設定檔定義了Accuracy Checker的運作方式,該設定檔分為Launchers與Datasets兩個段落,分別讓Accuracy Checker知道如何運作模型以及如何讀取資料集。
除了支援平均精度值(mAP) 的標準量測流程,OpenVINO也提供Custom Evaluators讓使用者利用Python編寫自定義的準確率驗證模組,並導入到Accuracy Checker。想知道如何充分利用這套模型準確率驗證工具更有效率地在您的Edge AI應用中部署模型,千萬別錯過講師詳細的講解以及示範。
單元二:使用Post Training Optimization Tool進行深度學習模型壓縮
將高精度浮點數模型中的權重等數據,映射到較低精度--如INT8 量化壓縮就是將模型壓縮至8位元整數--的數據,是部署Edge AI應用流程中不可或缺的步驟。OpenVINO支援相對簡單、耗時短、精度損失小,對開發硬體要求也較低的訓練後量化,透過最佳化工具POT協助開發者以高效率完成模型量化任務。
POT支援兩種量化模式,Default Quantization為最優先推薦的量化方式,能快速又能維持高精確度的做模型量化,只要用未被標註的資料集即可實作;若Default Quantization量化後的準確率不理想時,會推薦使用Accuracy-aware Quantization量化方式,能將精確度維持在定義的範圍中,不過此方法的效能提升受限、需要使用帶標註的資料集,耗時也較長。在這個單元中,講師將帶領大家透過實作更清楚了解如何使用POT工具。
課程內容
OpenVINO功能教學 – Accuracy Checker與POT
-
以Accuracy Checker工具驗證深度學習模型準確率
16:29 -
使用Post Training Optimization Tool進行深度學習模型壓縮
24:05