輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手

Posted By OpenVINO作者群 on 1 月 26, 2024 in AIGC, ChatGPT, Edge AI, Edge AI教學文, Edge AI開發地圖, Edge AI開發環境, Hugging Face, Intel, Llama 2, LLM, ONNX, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文

LLM大模型存在很多痛點，包括但不限於資料陳舊、無法和外部元件互動等，本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型，為Llama2客製化Prompt，並用LangChain 實現可連網取得最新消息的輔助搜尋功能