Posted By 許 哲豪 on 3 月 11, 2021 in Edge AI開發地圖, Intel, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文 | 1 comment

有看過或玩過「神奇寶貝（寶可夢）」的朋友都知道，訓練家們要依怪獸的屬性（火系、草系、電系等）給予適當的培訓，再挑選合適的對象及不斷的對戰磨煉才能有好的戰鬥表現。同樣地，AI模型訓練師也是如此，依據不同的應用場景（影像分類、物件偵測、影像分割等），挑選適合在指定的硬體（CPU, GPU, VPU, FPGA等）上推論的模型，並反覆調整合適的超參數（hyperparameter），如此才能有好的成果。

由於這樣的調參工作需要耗費大量的時間及精力才能完成，傳統上只靠一堆數字報表來分析調整方向，所以非常仰賴專業工程師的能力才能完成。因此Intel OpenVINO Toolkit（以下簡稱OpenVINO）在2019 R3版之後提供了一項非常方便的網頁式圖形化介面工具「DL Workbench」(Deep Learning Works Benchmark)，讓不會寫程式、非專業的工程師也能輕易上手進行模型選用、下載、校正、參數調整、效能比較、瓶頸分析、優化及打包佈署到目標硬體平台上。

接下來就從「如何安裝DL Workbench」、「DL Workbench工作流程」作簡單說明，最後再以「實際案例操作：SSD物件偵測」完整說明AI模型的分析、優化及佈署的步驟。

如何安裝DL Workbench

目前OpenVINO提供多種安裝方式，其中最簡單的方式就是直接到Docker Hub上去下載(Pull)映像檔(Images)。若還不熟悉如何使用Docker安裝歩驟的朋友，可以參考「【Intel OpenVINO教學】如何利用Docker快速建置OpenVINO開發環境」。當然如果想直接在命令列下安裝DL Workbench的朋友也可參考官網說明。不過這裡提醒一下，DL Workbench只有在Linux(Ubuntu 18.04/20.04) Docker環境下才能完整使用Intel系列的CPU, iGPU, Myriad(NCS2), HDDL(VPU)等硬體，而在Windows和macOS使用Docker的朋友則只能使用CPU工作。以下說明皆以Linux環境做為說明。

使用Docker安裝方式的人，只需依下列指令操作即可完成安裝。接著啟動DL Workbench工作環境，啟動時可依不同需求可加上-ENABLE_GPU 或 -ENABLE_MYRIAD 或 -ENABLE_HDDL指令來增加硬體推論能力，如Fig. 1所示。

# 從Docker Hub拉下（下載）DL Workbench映像檔
docker pull openvino/workbench:latest

#下載完成後，檢查可工作映像檔
docker images

#第一次啟動須先下載批次檔 start_workbench.sh，並增加批次檔可執行權限，第二次啟動時就不須執這二行命令

wget https://raw.githubusercontent.com/openvinotoolkit/workbench_aux/master/start_workbench.sh
sudo chmod +x start_workbench.sh

#啟動DL Workbench CPU工作環境，若已有安裝好對應驅動程式，則另可選擇性加上-ENABLE_XXX參數增加硬體推論能力（XXX分別對應Intel GPU, Neural Compute Stick 2 單顆VPU, 多顆Movidius VPUs）
./start_workbench.sh -IMAGE_NAME openvino/workbench -TAG latest   

啟動後，會出現Login token（一長串數字可先複製起來備用）及一個本地端網址(http://127.0.0.1:5665/?token=xxxxxx)，接著將滑鼠移至網址處按下左鍵，點選開啟連結(Open Link)，或者直接複製這一長串網址貼到瀏覽器上，即可進入DL Workbench網頁式操作畫面，如Fig. 2步驟4所示。若想結束DL Workbench，除了關閉網頁外，還要回到終端機畫面按下 回到普通命令列狀態。