|
輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
1 月26

輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手

Posted By on 1 月 26, 2024 in AIGC, ChatGPT, Edge AI, Edge AI教學文, Edge AI開發地圖, Edge AI開發環境, Hugging Face, Intel, Llama 2, LLM, ONNX, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文

LLM大模型存在很多痛點，包括但不限於資料陳舊、無法和外部元件互動等，本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型，為Llama2客製化Prompt，並用LangChain 實現可連網取得最新消息的輔助搜尋功能

Read More
善用 ONNX Runtime 加速超過 130,000 個Hugging Face模型
10 月27

善用 ONNX Runtime 加速超過 130,000 個Hugging Face模型

Posted By on 10 月 27, 2023 in Edge AI開發地圖, Edge AI開發環境, Hugging Face, ONNX, 技術新訊, 深度學習

在 Hugging Face (HF) 上的32 萬個模型中，超過 130,000 個模型支援 ONNX 格式，它們可以透過 ONNX Runtime (ORT) 進行加速。

Read More