OpenVINO全新GenAI API：幾行程式碼就能快速建立GenAI App！

Posted By OpenVINO作者群 on 8 月 14, 2024 in AI PC, Edge AI, Edge AI解決方案, Edge AI開發地圖, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文 | 0 comments

而儘管GenAI的一切令人感到興奮，要以那些模型執行推論應用仍面臨龐大挑戰，特別是在邊緣裝置與AI PC上的運作。

https://youtu.be/7Y7icd4vP40

目前在Intel平台上最先進的GenAI

今日要在Intel硬體平台上取得最佳GenAI性能，開發者可以利用透過Optimum Intel 與OpenVINO後端最佳化的Hugging Face流水線來執行GenAI模型。OpenVINO可實現CPU、GPU與NPU的最佳化，這能有效降低延遲、提升效率。此外，我們可以利用量化、權重壓縮等模型最佳化技巧，來最小化記憶體佔用(能減少2~3倍的記憶體使用量)；這通常是在RAM容量只有32GB或更小的客戶端或邊緣裝置部署AI模型的主要瓶頸。

透過新的OpenVINO GenAI API，我們能在程式碼方面能做得更好；如圖中所示，推論程式碼可減少到3行。新的工作流程可提供開發者更低的學習曲線去展開GenAI應用程式開發之旅。

檢視OpenVINO GenAI程式庫的安裝可以看到，不但程式碼行數減少了，而且安裝的依賴項也很少，產生了一個運作Gen AI推論的簡潔環境，佔用的儲存空間僅216Mb！