OpenVINO結合Teachable Machine蹦出新滋味

Posted By Lin Felix on 7 月 28, 2021 in Edge AI開發地圖, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文 | 0 comments

Google於2017年製作了Teachable Machine網頁版本的AI軟體工具，甫一推出就受到相當好的好評與回響，原因在於這個網站幾乎可以不需要任何說明與敘述，就可以自行摸索搞懂原來用AI實踐電腦視覺是這麼一回事！

之後更於2019年推出Teachable Machine V2，除了將原有的Image Classification（影像分類）由固定三個分類擴充為自定義分類數量，並且增加了Audio（聲音）與Pose（人體姿勢）兩個類別的分類器，此外更支援專案的存檔與轉匯出功能，不但能保留資料於日後繼續編輯，同時還能匯出Keras、TensorFlow、tf.js等不同格式的模型檔案，大幅提高了後續轉應用的可玩性！

OpenVINO執行模型最佳化後能跨平台佈署AI推論(圖片來源: Intel)

OpenVINO為Intel於2018年推出的AI佈署工具套件，支援不同深度學習軟體框架如TensorFlow、PyTorch、Caffe等的模型輸入，並對模型進行最佳化與調教後，佈署於不同作業系統進行推論。其初版發布時間和Intel推出NCS2(Neural Compute Stick 2)的時間點相當接近，而一直讓筆者有著「OpenVINO就是要來搭配NCS2進行AI推論最佳化」的一種錯覺。

直到後來OpenVINO版本持續更新提其高支援完整性與提高了易用性，才讓筆者確實看清，以目前Intel CPU/GPU的處理效能，已經足以負荷多數情境的AI應用推論了！如下方長條圖顯示著Intel的不同世代顯示晶片在的AI推論效能比較，分別以第九代iGPU與第12代iGPU執行不同模型之間的效能差異。其中光是Gen12相比Gen9跑FP16模型推論FPS就已超過兩倍之譜，若是將模型轉換為INT8進行推論更可以在將效能再拉升至一倍左右！若要進一步了解OpenVINO各AI模型對應不同處理器的效能，也可以參照OpenVINO Benchmark Result。