輕鬆使用OpenVINO在本地裝置離線運作Llama3
2024/05/06
POSTED BY OpenVINO作者群
利用OpenVINO部署Llama3到本地運算資源,例如AI PC,不僅意味著更快的回應速度和更低的運作成本,還能有效地保護資料安全,防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要,如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速,並將其部署在本地裝置上,進行更快、更智慧的AI推論。
用OpenVINO C# API部署YOLOv9目標檢測和實例分割模型
2024/04/19
POSTED BY OpenVINO作者群
YOLOv9模型是YOLO系列即時目標檢測演算法中的最新版本,代表著該系列在準確性、速度和效率方面的又一次重大飛躍。在本文中,我們將結合OpenVINO C# API使用最新發佈的OpenVINO 2024.0部署YOLOv9目標檢測和實例分割模型。
OpenVINO 2024.0:為開發者提供更高性能、更強大支援
2024/03/19
POSTED BY OpenVINO作者群
OpenVINO 2024.0來了!我們很高興在這個版本推出一系列強化功能,目標是在快速發展的AI領域賦予開發者更強大的能力;新版本透過動態量化、改善的GPU最佳化以及對混合專家(MoE)模型架構的支援,增強了大語言模型(LLM)的性能。OpenVINO 2024.0讓開發者能有效利用AI加速,這也要感謝來自社群的持續貢獻。
用OpenVINO與NNCF最佳化Whisper語音辨識模型
2024/03/13
POSTED BY OpenVINO作者群
本文示範如何以OpenVINO與Optimum Intel載入並執行Whisper與Distil-Whisper模型進行音訊轉錄任務,以及如何使用NNCF對這些模型執行INT8訓練後量化;接著在橫跨多種CPU的裝置上以大規模語音轉文字資料集評估這些模型。
如何在Google Colab上運行OpenVINO Open Model Zoo範例
2024/03/07
POSTED BY 許 哲豪
本篇文章會以OMZ 影像分類(Classification) Public Pre-Trained Models為例,說明如何在Colab 上直接運行Intel Open Model Zoo。
如何在Windows平台呼叫NPU部署深度學習模型
2024/03/04
POSTED BY 楊亦誠
在最新一代的Intel Core Ultra行動終端處理器中已經整合了簡稱為NPU的神經網路加速處理器,以提供低功耗的AI算力,而OpenVINO工具套件也在第一時間對NPU進行了配接。本文將帶領讀者一起看看如何在Intel Core Ultra處理器上搭建基礎環境,並呼叫NPU進行模型推論任務。
新年首發 OpenVINO 2023.3 LTS版本隆重登場!
2024/02/16
POSTED BY OpenVINO作者群
是時候在生成式人工智慧(AI)領域大放異彩地開啟2024年了,最新的OpenVINO推論工具2023.3 LTS版本隆重登場,導入了額外的框架改變,最佳化了生成式AI模型的特性,並強化了對現有平台的支援,將使您在新的一年中的程式編寫之旅變得異常精彩!本文將帶您了解新版本OpenVINO的一些重要更新。
【活動報導】OpenVINO讓生成式AI隨手可及
2024/02/08
POSTED BY MakerPRO編輯部
2024年伊始,OpenVINO的最新版本2023.3 LTS正式發表,更進一步降低了生成式AI技術的門檻,為了讓廣大開發者對最新版OpenVINO的強化功能有更深入的了解,Intel與MakerPRO在2024年1月底共同舉辦了第三場OpenVINO DevCon線上講座...
用OpenVINO和LangChain打造你專屬的RAG問答系統
2024/02/06
POSTED BY 楊亦誠
隨著生成式AI的興起,和大語言模型對話聊天的應用變得非常熱門,但這類應用往往只能簡單地和你「聊聊家常」,並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢?當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下,RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。
輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
2024/01/26
POSTED BY OpenVINO作者群
LLM大模型存在很多痛點,包括但不限於資料陳舊、無法和外部元件互動等,本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型,為Llama2客製化Prompt,並用LangChain 實現可連網取得最新消息的輔助搜尋功能