輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
LLM大模型存在很多痛點，包括但不限於資料陳舊、無法和外部元件互動等，本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型，為Llama2客製化Prompt，並用LangChain 實現可連網取得最新消息的輔助搜尋功能
【創業小聚】成立半年就成為獨角獸！法國新創Mistral AI用「完全開源」挑戰OpenAI
2022年，OpenAI的GPT模型讓AI進入人們的生活，有了更多應用場景和機會。出於對OpenAI「閉源」的作法不認同，Mistral AI以完全授權的Apache 2.0授權方式開源新的LLM模型。
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
利用Intel平台提升LLM微調與訓練效率：ResNet50+LoRA範例
本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術，來提升AI模型的訓練效率，以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術，本文先從大家熟悉ResNet50圖像分類模型做為起步範例，並搭配LoRA來進行外掛訓練，以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。
如何客製化企業 RAG 知識庫？— 從資料庫到知識整合的實戰技術
