作者：李翊瑋 & Ahmed, Mushtaq
EIV (Edge Insights for Vision) 軟體套件具有一組預整合元件，專為邊緣應用的電腦視覺和深度學習推論而設計，並針對英特爾架構進行了最佳化，作為容器化架構或獨立運作時實現。此套裝軟體包含用於在英特爾處理器和英特爾顯卡設備上安裝英特爾顯卡驅動程式，和為 OpenVINO推論設置環境的腳本。
運作原理
EIV是一組預先驗證的模組，作為容器化架構或獨立運行時實現，用於在邊緣部署電腦視覺和深度學習工作負載；該套裝軟體包含針對英特爾架構最佳化的電腦視覺和深度學習應用的英特爾發行版本 OpenVINO工具套件。
圖 1：視覺邊緣洞察模組
EIV 安裝三大模組
- Docker
- Intel GPU drivers
- The Intel Distribution of OpenVINO toolkit (OpenVINO) Docker image 2023.0
入門指南
按照此份指南在Linux上為您的目標系統安裝英特爾EIV。完成本指南後，您就可以在英特爾處理器、iGPU和英特爾銳炫(ARC)顯卡上試用範例應用程式了。
建議的系統要求
- 處理器：
- 第10代~第13代英特爾酷睿(Core)處理器
- 英特爾處理器 N系列
- 英特爾Core i3處理器N系列
- 英特爾ARC A系列顯卡
- 至少 8GB 記憶體
- 至少 64GB 硬碟
- 網際網路連結
- Ubuntu 20.04 英特爾物聯網或 Ubuntu 22.04 英特爾物聯網
準備目標系統
注意：如果主顯示器設置為 dGPU，Ubuntu 22.04 安裝將凍結。某些設備，例如ASUS IoT PE3000G具有預設的dGPU作為主顯示器。在 BIOS 功能表中，選擇高階→圖形配置→主顯示器，然後選擇「IGFX」。保存更改並重新開機系統。接下來，繼續安裝 Ubuntu 22.04 和 EIV。EIV安裝完成後，如果您希望使用dGPU作為主顯示器，請轉到BIOS並切換回「PEG插槽」。
確保目標系統具有全新的作業系統安裝。請按照以下步驟安裝 Ubuntu 作業系統：
將適用於英特爾硬體的 Ubuntu v20.04-IoT or Ubuntu v22.04-IoT Desktop ISO file下載到開發人員工作站。
- 使用映射應用程式（如 balenaEtcher 應用程式）創建可啟動快閃記憶體驅動器。
- 更新 USB 快閃記憶體驅動器後，關閉目標系統的電源，插入 USB 快閃記憶體驅動器，然後打開目標系統的電源。如果目標系統未從 USB 快閃記憶體驅動器啟動，請在系統 BIOS 中更改啟動優先順序。
- 按照提示安裝具有預設配置的作業系統。有關詳細說明，請參閱本指南。
- 在代理環境中，請確保已在 /etc/環境中設置代理。
顯卡驅動安裝含EIV（如已安裝Ubuntu 22.04 請直接從此處安裝）
在目標系統上執行以下命令以安裝 EIV。
1.安裝和使用git將EIV儲存庫複製到Ubuntu系統中。
Git clone https://github.com/intel/edge-insights-vision.git
2. 更新系統上的套裝軟體。
3. 安裝 python3-pip。
4. 將目錄更改為edge-insights-vision並安裝需求套件。
pip3 install -r requirements.txt
圖 2：安裝需求套件
5. 安裝EIV。如果您的系統具有 dGPU，它會將您的核心升級到 6.2.8，並且您的系統將會在安裝過程中重新啟動。重新啟動後如果沒有跑到100%，請重複執行此指令(由於需要重新啟動，請在開始安裝之前保存您的工作)。
6. 安裝完成後重新啟動系統。
圖3：成功安裝EIV
如果GPU驅動程式未顯示版本，請重新啟動系統並執行此指令以查看驅動程式版本。
執行Jupyter Notebooks教程
按照以下步驟啟動 Jupyter Notebooks並執行基本教程，以驗證目標系統是否正常運作。
1. 成功安裝後，將sh腳本更改為可執行檔，並執行啟動器腳本，如下所示：
chmod +x launch_notebooks.sh
./launch_notebooks.sh
2. 打開瀏覽器，貼上圖4以反白標示的URL以開啟Jupyter Notebooks。
圖 4: Output of launch_notebooks.sh
3. 如果您在瀏覽器中看到以下頁面，代表所有OpenVINO Notebooks都可以使用了。
圖 5: Jupyter Notebook in the browser
4. 如果打開「notebooks」資料夾，則可以看到所有可用Notebooks的列表。
5. 選擇 notebook 236-stable-diffusion-v2/236-stable-diffusion-v2-optimum-demo-comparison.ipynb
6. 它允許從文字描述生成影像，並有助於比較在CPU和獨立GPU上運作不同管道時的性能。
7. 在「顯示可用設備資訊」步驟中，您可以看到所有設備，這些設備可用於在此PC上進行推論。由於我的電腦中安裝了獨立的 GPU，因此列表中有GPU.1:Intel(R) Arc(TM) Pro A40/A50 Graphics (dGPU)。
8. 在此notebook中執行的第一個模型是託管在HuggingFace上的預訓練Pytorch模型。 https://huggingface.co/stabilityai/stable-diffusion-2-1 在此單元中，使用standard Stable Diffusion Pipeline在CPU上執行。
9. 它透過文字描述生成影像，如下圖所示，在我的電腦上推論大約需要2分鐘。
10. 下一步使用OpenVINO進行穩定擴散。為此，將同一模型轉換為OpenVINO IR（Intermediate Representation格式，並使用OpenVINO 穩定擴散管道。CPU用於推論。
11. 對比於使用前已有了顯著速度的改進，只需1分16秒。因此，僅應用OpenVINO Stable Diffusion Pipeline，性能就提高了近2倍。
12. 最後一個實驗是在剛裝好的顯卡上執行Stable Diffusion。將 GPU 設置為推論設備，並執行這幾行程式碼：
可以在森林中看到新的紅色汽車和進一步的性能改進！這次只需要43秒, 對比原來的2分鐘有了60%以上的提升：
總結
本文介紹如何使用EIV 以5行指令快速搭建含英特爾顯卡及OpenVINO的AI開發環境。並以文生圖模型Stable Diffusion說明了OpenVINO如何最佳化其推論速度。
如果您有興趣生成更多影像、學習OpenVINO，並評估設備上生成AI的性能，歡迎點擊以下連結 https://github.com/intel/edge-insights-vision 並嘗試自己執行OpenVINO！
2010年獲得臺灣清華大學物理學(凝態物理)碩士學位。
2011 - 2014年就職于杜邦太陽能半導體研發工程師。
2015 - 2018年就職於和碩/可成集團擔任Apple iPhone 及 MacBook專案及業務經理。
2018 - 2021年就職於奧圖碼科技擔任產品總監專注於雲端AI產品商業化及投影機產品的硬體和軟體集成工作。
加入英特爾後，在網路及邊緣計算事業部擔任行業夥伴架構師，專注於拓展中國AI & IoT軟硬體ODM/OEM 合作夥伴，現擔任網路與邊緣事業部開發者關係經理。
》興趣：新技術探索、游泳及各式球類
- 在Ubuntu 22.04快速安裝英特爾顯卡驅動程式玩轉AIGC - 2023/09/12
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊！
