輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
LLM大模型存在很多痛點，包括但不限於資料陳舊、無法和外部元件互動等，本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型，為Llama2客製化Prompt，並用LangChain 實現可連網取得最新消息的輔助搜尋功能
目前有哪些大型程式語言模型 （Code LLM）可用？StarCoder、Code Llama、Codex！
本文將介紹開發者正關注大型程式語言模型 – Code LLM，包括Hugging Face推的StarCoderBase/StarCoder、Meta推的Code Llama，以及OpenAI推的Codex，未來將成為開發者重要的編碼助手。
善用 ONNX Runtime 加速超過 130,000 個Hugging Face模型
在 Hugging Face (HF) 上的32 萬個模型中，超過 130,000 個模型支援 ONNX 格式，它們可以透過 ONNX Runtime (ORT) 進行加速。
用Llama 2和OpenVINO打造聊天機器人
Meta終於推出了免費商用版本Llama 2，藉著這個機會，我們來分享一下如何用Llama 2和OpenVINO工具套件來打造一款聊天機器人。
【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天
以往在AI模型部署優化及推論部份，通常都會想到使用 Intel OpenVINO，不過大家多半只注意到它在「電腦視覺」相關的應用，殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力，使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。
利用OpenVINO部署HuggingFace預訓練模型的方法與技巧
透過HuggingFace開源的Transformers、Diffusers程式庫，只需要要調用少量介面函數，入門開發者也可以非常便捷地微調和部署自己的大模型任務，你甚至不需要知道什麼是GPT、BERT就可以用它們的模型，開發者不需要從頭開始構建模型任務，大幅簡化了工作流程。
.jpg)
.jpg)