以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI
在這篇文章中，我們將探索LLaVA-NeXT多模態聊天機器人Notebook，學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外，我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。
釋放多模態AI的力量：利用Pix2Struct和Optimum Intel
多模態可以同時處理視覺、聽覺和文字資料，以驚人的深度和精確度解釋其環境；在這篇文章中，我們將深入探討多模態AI的能力，並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統，以因應現實世界的應用。
LangChain框架已正式支援OpenVINO！
透過LangChain，開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系，而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署！
【活動報導】AI PC搭OpenVINO 在邊緣輕鬆部署LLM！
為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用，MakerPRO與Intel共同舉辦了以「探索AI PC新時代，學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。
輕鬆使用OpenVINO在本地裝置離線運作Llama3
利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。
用OpenVINO C# API部署YOLOv9目標檢測和實例分割模型
YOLOv9模型是YOLO系列即時目標檢測演算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。在本文中，我們將結合OpenVINO C# API使用最新發佈的OpenVINO 2024.0部署YOLOv9目標檢測和實例分割模型。