用OpenVINO與NNCF最佳化Whisper語音辨識模型
本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務，以及如何使用NNCF對這些模型執行INT8訓練後量化；接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。
如何在Google Colab上運行OpenVINO Open Model Zoo範例
本篇文章會以OMZ 影像分類(Classification) Public Pre-Trained Models為例，說明如何在Colab 上直接運行Intel Open Model Zoo。
如何在Windows平台呼叫NPU部署深度學習模型
在最新一代的Intel Core Ultra行動終端處理器中已經整合了簡稱為NPU的神經網路加速處理器，以提供低功耗的AI算力，而OpenVINO工具套件也在第一時間對NPU進行了配接。本文將帶領讀者一起看看如何在Intel Core Ultra處理器上搭建基礎環境，並呼叫NPU進行模型推論任務。
用OpenVINO和LangChain打造你專屬的RAG問答系統
隨著生成式AI的興起，和大語言模型對話聊天的應用變得非常熱門，但這類應用往往只能簡單地和你「聊聊家常」，並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢？當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下，RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。
輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
LLM大模型存在很多痛點，包括但不限於資料陳舊、無法和外部元件互動等，本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型，為Llama2客製化Prompt，並用LangChain 實現可連網取得最新消息的輔助搜尋功能
利用Intel平台提升LLM微調與訓練效率：ResNet50+LoRA範例
本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術，來提升AI模型的訓練效率，以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術，本文先從大家熟悉ResNet50圖像分類模型做為起步範例，並搭配LoRA來進行外掛訓練，以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。