【Arm的AI世界】用Vela編譯器在Ethos-U NPU部署神經網路模型
為了因應這波邊緣與終端AI裝置浪潮,Arm特地設計了microNPU 機器學習(ML)處理器Ethos-U,為面積受限的嵌入式與物聯網裝置加速ML推論。要在Ethos-U上部署神經網路(NN)模型,第一步須使用Vela來編譯你已備妥的模型。Vela是一種開源Python工具,可以將神經網路模型最佳化為能在內含Ethos-U NPU的嵌入式系統上執行之特定版本;這篇文章將展示使用Vela編譯模型的工作流程。
用OpenVINO和LangChain打造你專屬的RAG問答系統
隨著生成式AI的興起,和大語言模型對話聊天的應用變得非常熱門,但這類應用往往只能簡單地和你「聊聊家常」,並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢?當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下,RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。
輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
LLM大模型存在很多痛點,包括但不限於資料陳舊、無法和外部元件互動等,本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型,為Llama2客製化Prompt,並用LangChain 實現可連網取得最新消息的輔助搜尋功能