|
用OpenVINO GenAI解鎖LoRA微調模型推論
8 月29

用OpenVINO GenAI解鎖LoRA微調模型推論

借助OpenVINO GenAI,你可以無縫整合 LoRA配接器,實現對大語言模型的快速個性化客製。開發者還可以一次性載入多個LoRA配接器,並在執行時快速切換,無需重新編譯基礎模型。

Read More
用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能
4 月23

用OpenVINO GenAI解鎖LLM極速推論:推測式解碼讓AI爆發潛能

借助簡化開發和最佳化硬體利用率的工具,OpenVINO使開發者能夠在各種即時和資源受限的場景中部署高性能的LLM;無論是構建回應迅速的聊天機器人或高效率虛擬助手,還是具備可擴展性的創意應用,OpenVINO正在重新定義AI推論的可能性。本文將探討如何利用OpenVINO GenAI的推測式解碼技術使這一變革性創新成為現實。

Read More
以C++語言構建OpenVINO GenAI應用程式就是這麼簡單!
10 月01

以C++語言構建OpenVINO GenAI應用程式就是這麼簡單!

OpenVINO GenAI API提供了原生C++介面,免除對Python依賴項的需求,讓開發者能以更節省資源的方法打造AI應用。本文提供了使用Windows作業系統為範例,逐步構建OpenVINO GenAI 應用程式的指南。

Read More
OpenVINO 2023.2版本發佈:讓生成式AI在實際場景中更易用
11 月22

OpenVINO 2023.2版本發佈:讓生成式AI在實際場景中更易用

OpenVINO發佈最新2023.2版本了!與之前的版本一樣,在提高性能、增加對新AI模型的支援,以及構建基礎設施和模型快取等不同元件方面都有重大改進,除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力,也更新了模型轉換和最佳化工具;OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。

Read More
一步到位:利用OpenVINO實現LCM高速影像生成
11 月17

一步到位:利用OpenVINO實現LCM高速影像生成

最近橫空出世的潛在一致性模型(LCM)讓文生圖模型的圖片急速生成變成可能。LCM可以在任何預訓練的潛在擴散模型上進行快速推斷、步驟最少,包括穩定擴散模型(Stable Diffusion)。用OpenVINO也能對充滿魔力的LCM文生圖模型進行完全的最佳化、壓縮以及推理加速、快速部署的支援!

Read More
OpenVINO 2023.1版本問世: 在邊緣端賦能生成式AI
10 月13

OpenVINO 2023.1版本問世: 在邊緣端賦能生成式AI

OpenVINO  2023.1版本希望將生成式 AI 的強大功能導入常規桌上型電腦和筆記型電腦,讓這些模型可以在資源受限的本地環境中運作`在整個產品中針對這些場景進行了最佳化,實現了一些關鍵功能,並為我們的下一步工作計畫奠定了基礎。也就是說,我們的變化不僅限於生成式AI,我們還改進了產品的其他部分。以下讓我們來看看這些變化到底是什麼。

Read More