許多桌上型PC應用程式都是使用C++語言開發的,但因為使用Hugging Face等以Python語言為基礎的程式庫之複雜性,要將生成式AI (GenAI)功能整合到這些應用程式中會頗具挑戰性。以C++搭配OpenVINO Runtime提供了一個更精簡、輕量,而且記憶體效能更佳的解決方案,特別是在Windows環境下。在這裡可以找到詳細的依賴項比較。
OpenVINO GenAI API提供了原生C++介面,免除對Python依賴項的需求,讓開發者能以更節省資源的方法打造AI應用。以下是使用Windows作業系統為範例,逐步構建OpenVINO GenAI應用程式的指南。
步驟1:下載並解壓縮OpenVINO檔案
連結OpenVINO下載頁面,點擊「下載具備GenAI的檔案」(Download Archives with GenAI)選擇最新版本。
下載完成後,將壓縮檔解壓縮至以下路徑:
\openvino_genai_windows_2024.3.0.0_x86_64
步驟2:建置專案
確保你的電腦上已安裝以下軟體元件:
- CMake 3.23 或更高版本
- Microsoft Visual Studio 2019 或更高版本,16.3 或更新版本
- Python 3.8 或更高版本
開啟命令視窗,並從解壓縮後的OpenVINO with GenAI資料夾執行 setupvars.bat檔案。
\openvino_genai_windows_2024.3.0.0_x86_64\setupvars.ba
只需不到短短一分鐘...
輸入您的信箱與ID註冊即可享有一切福利!
會員福利
1
免費電子報
2
會員搶先看
3
主題訂閱
4
好文收藏