如何以OpenVINO在Intel GPU上執行Stable Diffusion

Posted By Raymond Lo on 3 月 27, 2023 in Edge AI, Edge AI教學文, Edge AI開發地圖, Intel, OpenVINO, OpenVINO專欄, OpenVINO教學文, Stable Diffusion, 教學文 | 0 comments

在OpenVINO Notebooks有不少AI案例，但你知道我們也可以執行最夯的Stable Diffusion圖片生成模型，並且將該模型轉換為OpenVINO的IR（Intermediate Representation）格式，讓它在CPU與GPU上高效率執行嗎？此外透過壓縮FP32模型至FP16格式，我們能把模型尺寸縮小（接近）一半，用更少的RAM/VRAM容量來執行。更重要的是，因為Intel的XMX（Xe Matrix Extensions）脈動陣列發揮作用，這也能大幅加快GPU處理速度。

以下是筆者用筆記型電腦執行的結果，非常有趣。用我的Intel Arc A770獨立顯示晶片，能取得大約每秒6.0次迭代（iterations，在沒有除錯模式的情況下）。這意味生成下方的高品質影像，通常只花不到10秒的時間。