【啟動AI Maker世代 】2024 MAI 開發者社群大會(5/16-17)
|
輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
1 月26

輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手

LLM大模型存在很多痛點,包括但不限於資料陳舊、無法和外部元件互動等,本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型,為Llama2客製化Prompt,並用LangChain 實現可連網取得最新消息的輔助搜尋功能

Read More
善用 ONNX Runtime 加速超過 130,000 個Hugging Face模型
10 月27

善用 ONNX Runtime 加速超過 130,000 個Hugging Face模型

在 Hugging Face (HF) 上的32 萬個模型中,超過 130,000 個模型支援 ONNX 格式,它們可以透過 ONNX Runtime (ORT) 進行加速。

Read More