全新 OpenVINO 2025.3 版本帶來更快的上手體驗和更強大的性能。此次升級重點聚焦生成式AI，新增對多種尖端模型的支援，並推出全新GenAI流水線，全面擴展了OpenVINO Model Server的能力。

借助OpenVINO GenAI，你可以無縫整合 LoRA配接器，實現對大語言模型的快速個性化客製。開發者還可以一次性載入多個LoRA配接器，並在執行時快速切換，無需重新編譯基礎模型。

借助簡化開發和最佳化硬體利用率的工具，OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM；無論是構建回應迅速的聊天機器人或高效率虛擬助手，還是具備可擴展性的創意應用，OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。

OpenVINO GenAI API提供了原生C++介面，免除對Python依賴項的需求，讓開發者能以更節省資源的方法打造AI應用。本文提供了使用Windows作業系統為範例，逐步構建OpenVINO GenAI 應用程式的指南。

OpenVINO發佈最新2023.2版本了！與之前的版本一樣，在提高性能、增加對新AI模型的支援，以及構建基礎設施和模型快取等不同元件方面都有重大改進，除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力，也更新了模型轉換和最佳化工具；OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。