|

用OpenVINO與NNCF最佳化Whisper語音辨識模型

本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務,以及如何使用NNCF對這些模型執行INT8訓練後量化;接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。

Read More

如何在Windows平台呼叫NPU部署深度學習模型

在最新一代的Intel Core Ultra行動終端處理器中已經整合了簡稱為NPU的神經網路加速處理器,以提供低功耗的AI算力,而OpenVINO工具套件也在第一時間對NPU進行了配接。本文將帶領讀者一起看看如何在Intel Core Ultra處理器上搭建基礎環境,並呼叫NPU進行模型推論任務。

Read More

新年首發 OpenVINO 2023.3 LTS版本隆重登場!

是時候在生成式人工智慧(AI)領域大放異彩地開啟2024年了,最新的OpenVINO推論工具2023.3 LTS版本隆重登場,導入了額外的框架改變,最佳化了生成式AI模型的特性,並強化了對現有平台的支援,將使您在新的一年中的程式編寫之旅變得異常精彩!本文將帶您了解新版本OpenVINO的一些重要更新。

Read More

用OpenVINO和LangChain打造你專屬的RAG問答系統

隨著生成式AI的興起,和大語言模型對話聊天的應用變得非常熱門,但這類應用往往只能簡單地和你「聊聊家常」,並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢?當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下,RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。

Read More
No more posts to show