以C++語言構建OpenVINO GenAI應用程式就是這麼簡單!
2024/10/01
POSTED BY 武卓
OpenVINO GenAI API提供了原生C++介面,免除對Python依賴項的需求,讓開發者能以更節省資源的方法打造AI應用。本文提供了使用Windows作業系統為範例,逐步構建OpenVINO GenAI 應用程式的指南。
【開箱評測】探索未來:結合迷你PC與生成式AI的個人多媒體助理
2024/09/24
POSTED BY Ludwig Chen
以mini PC作為多媒體AI個人助理的應用,展現了AI技術日益貼近日常生活的趨勢,未來這類設備將在提升個人生活品質和工作效率方面扮演越來越重要的角色,而本文將分析NUC BOX-155H這台mini PC在多媒體處理上的效能,並且分享一個未來十分看好、能成為個人多媒體助理的AI模型:Stable Diffusion及其多個版本的發展與應用選擇。
輕薄型筆電OK!利用OpenVINO部署Phi-3.5「全家餐」
2024/09/20
POSTED BY 楊亦誠
近期微軟發佈了最新的Phi-3.5系列SLM模型,是非常適合在AI PC上運作的模型任務。本文將分享如何利用OpenVINO在你的AI PC上部署最新Phi-3.5-mini及Phi-3.5-vision模型。
LLM性能再強化 OpenVINO 2024.3隆重發佈!
2024/08/21
POSTED BY OpenVINO作者群
OpenVINO 2024.3版本現在已經正式推出!這次更新帶來了新的功能,並對現有功能進行了強化,特別是大型語言模型(LLM)的性能;本文將介紹此新版本的關鍵進展。
OpenVINO全新GenAI API:幾行程式碼就能快速建立GenAI App!
2024/08/14
POSTED BY OpenVINO作者群
全新的OpenVINO GenAI API為開發者提供了更簡單與清晰的程式碼;這意味著除了提供電腦視覺、AI加速與最佳化程式庫,OpenVINO現在也是開發者實現GenAI應用的助力。
OpenVINO 2024.2姿態模型效能評估:以OpenPose、YOLOv8與3D-Pose為例
2024/08/05
POSTED BY 李盛安
本文主要於ASRock NUC BOX-155H平台進行,使用Intel Core Ultra運作的NUC (下一代計算單元)。我們將姿態辨識模型OpenPose、3D Pose、MoveNet 與 YOLOv8 模型轉換為OpenVINO IR模型格式,分別在CPU、iGPU及NPU上進行部署。觀察這些模型在CPU、iGPU及NPU的硬體效能差異,透過實際執行影片推論的過程,觀察NPU的性能表現。
【開箱實測】OpenVINO榨出單板極限,實作離線LLM AI助理!
2024/07/25
POSTED BY Lin Felix
在當前AI PC問世之際,相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度,本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論,甚至是實作一個離線大語言模型的AI助理出來!
以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI
2024/06/18
POSTED BY OpenVINO作者群
在這篇文章中,我們將探索LLaVA-NeXT多模態聊天機器人Notebook,學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外,我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。
釋放多模態AI的力量:利用Pix2Struct和Optimum Intel
2024/06/17
POSTED BY OpenVINO作者群
多模態可以同時處理視覺、聽覺和文字資料,以驚人的深度和精確度解釋其環境;在這篇文章中,我們將深入探討多模態AI的能力,並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統,以因應現實世界的應用。
LangChain框架已正式支援OpenVINO!
2024/06/12
POSTED BY 楊亦誠
透過LangChain,開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系,而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署!