OpenVINO Archives

5 月09

認識IPEX-LLM：LLM模型最佳化的PyTorch工具

Posted By owenou on 5 月 9, 2025 in Intel, LLM, OpenVINO, PyTorch, 技術導讀

IPEX-LLM是英特爾為其 XPU（Xeon/Core/Flex/Arc/PVC）提出的低位元 LLM 開源（Apache 2.0授權）函式庫，是專為 PyTorch 生態打造的LLM執行擴充套件，具有廣泛的模型支援、低延遲和記憶體佔用小等優勢。

4 月23

用OpenVINO GenAI解鎖LLM極速推論：推測式解碼讓AI爆發潛能

Posted By 武卓 on 4 月 23, 2025 in AIGC, Edge AI教學文, Edge AI解決方案, Edge AI開發地圖, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, 技術導讀, 教學文

借助簡化開發和最佳化硬體利用率的工具，OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM；無論是構建回應迅速的聊天機器人或高效率虛擬助手，還是具備可擴展性的創意應用，OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。

3 月27

輕鬆用Intel AI PC及OpenVINO建立數位分身

Posted By 許哲豪 on 3 月 27, 2025 in AI PC, Edge AI, Edge AI開發地圖, Intel, OpenVINO, OpenVINO專欄, OpenVINO應用, OpenVINO教學文, OpenVINO評測文, 教學文, 評測

一個完整的數位分身，就像真人一樣，要具有自然語言對話、豐富肢體動作和產生生動表情的能力，其中就需要用到許多生成式AI技術，包括利用語音轉文字(STT)得到問題的文字，交給大語言模型(LLM)進行文字問答，再將文字轉語音(TTS)把答案讀出，最後再配合語音自動對嘴形(Lip Sync)讓人物影像的嘴巴也能和語音同步動起來。