|
【開箱實測】OpenVINO榨出單板極限，實作離線LLM AI助理！
7 月25

【開箱實測】OpenVINO榨出單板極限，實作離線LLM AI助理！

Posted By on 7 月 25, 2024 in Edge AI解決方案, Edge AI開發地圖, Edge AI開發環境, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, OpenVINO評測文, 教學文, 研揚AAEON, 評測

在當前AI PC問世之際，相信不少人已知道OpenVINO可以加速離線大語言模型(LLM)的推論速度，本篇文章是要更進一步在資源更為受限的單板電腦上進行大語言模型的推論，甚至是實作一個離線大語言模型的AI助理出來！

Read More
以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI
6 月18

以LLaVA-NeXT和NNCF先進量化技術掌握多模態AI

Posted By on 6 月 18, 2024 in Edge AI, Edge AI開發地圖, Edge AI開發環境, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文, 量化技術

在這篇文章中，我們將探索LLaVA-NeXT多模態聊天機器人Notebook，學習如何轉換和最佳化LLaVA-NeXT模型來打造多模態聊天機器人。此外，我們將探討如何在LLM部分應用有狀態轉換(stateful transformation)和使用NNCF進行權重壓縮和量化等模型最佳化技術。

Read More
釋放多模態AI的力量：利用Pix2Struct和Optimum Intel
6 月17

釋放多模態AI的力量：利用Pix2Struct和Optimum Intel

Posted By on 6 月 17, 2024 in Edge AI, Edge AI教學文, Edge AI開發地圖, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文

多模態可以同時處理視覺、聽覺和文字資料，以驚人的深度和精確度解釋其環境；在這篇文章中，我們將深入探討多模態AI的能力，並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統，以因應現實世界的應用。

Read More
LangChain框架已正式支援OpenVINO！
6 月12

LangChain框架已正式支援OpenVINO！

Posted By on 6 月 12, 2024 in AIGC, Edge AI解決方案, Edge AI開發地圖, LLM, OpenVINO專欄, OpenVINO教學文, RAG, 教學文

透過LangChain，開發者可以輕鬆構建基於RAG或者Agent流水線的複雜應用體系，而目前我們已經可以在LangChain 的關鍵元件LLM、Text Embedding和Reranker中直接呼叫OpenVINO進行模型部署！

Read More
【活動報導】AI PC搭OpenVINO　在邊緣輕鬆部署LLM！
5 月30

【活動報導】AI PC搭OpenVINO　在邊緣輕鬆部署LLM！

Posted By on 5 月 30, 2024 in AI PC, AIGC, Edge AI, Edge AI教學文, Edge AI開發地圖, OpenVINO專欄, OpenVINO活動報導, 活動報導

為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用，MakerPRO與Intel共同舉辦了以「探索AI PC新時代，學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。

Read More
輕鬆使用OpenVINO在本地裝置離線運作Llama3
5 月06

輕鬆使用OpenVINO在本地裝置離線運作Llama3

Posted By on 5 月 6, 2024 in AIGC, Edge AI, Edge AI解決方案, Edge AI開發地圖, Llama 2, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文, 開發工具

利用OpenVINO部署Llama3到本地運算資源，例如AI PC，不僅意味著更快的回應速度和更低的運作成本，還能有效地保護資料安全，防止敏感資訊外洩。這對於需要處理高度敏感性資料的應用場景尤其重要，如醫療、金融和個人助理等領域。本文將介紹如何使用OpenVINO對Llama3模型進行最佳化和推論加速，並將其部署在本地裝置上，進行更快、更智慧的AI推論。

Read More