|
【活動報導】OpenVINO讓生成式AI隨手可及
2 月08

【活動報導】OpenVINO讓生成式AI隨手可及

Posted By on 2 月 8, 2024 in Edge AI, Edge AI應用案例, Edge AI解決方案, OpenVINO專欄, OpenVINO活動報導, 活動報導

2024年伊始，OpenVINO的最新版本2023.3 LTS正式發表，更進一步降低了生成式AI技術的門檻，為了讓廣大開發者對最新版OpenVINO的強化功能有更深入的了解，Intel與MakerPRO在2024年1月底共同舉辦了第三場OpenVINO DevCon線上講座…

Read More
用OpenVINO和LangChain打造你專屬的RAG問答系統
2 月06

用OpenVINO和LangChain打造你專屬的RAG問答系統

Posted By on 2 月 6, 2024 in AI關鍵技術, Edge AI教學文, Edge AI解決方案, Intel, LLM, OpenVINO, OpenVINO專欄, OpenVINO教學文, RAG, 教學文

隨著生成式AI的興起，和大語言模型對話聊天的應用變得非常熱門，但這類應用往往只能簡單地和你「聊聊家常」，並不能針對某些特定產業提供非常專業和精準的答案。那有沒有辦法讓你的模型學習到新的知識呢？當然有!在沒有足夠GPU運算資源對模型進行重新訓練的情況下，RAG方式對普通使用者來說更友善。本文就要來探討如何利用OpenVINO以及LangChain工具構建屬於你的RAG問答系統。

Read More
輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手
1 月26

輕鬆利用OpenVINO結合LangChain與Llama2打造智慧小助手

Posted By on 1 月 26, 2024 in AIGC, ChatGPT, Edge AI, Edge AI教學文, Edge AI開發地圖, Edge AI開發環境, Hugging Face, Intel, Llama 2, LLM, ONNX, OpenVINO, OpenVINO專欄, OpenVINO教學文, 教學文

LLM大模型存在很多痛點，包括但不限於資料陳舊、無法和外部元件互動等，本文旨在使用 OpenVINO 2023.1新版本的特性加速Llama2模型，為Llama2客製化Prompt，並用LangChain 實現可連網取得最新消息的輔助搜尋功能

Read More
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

Posted By on 12 月 18, 2023 in Edge AI教學文, Edge AI開發地圖, Edge AI開發學習, LLM, OpenVINO專欄, OpenVINO應用, OpenVINO評測文, PyTorch, 教學文, 評測

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以微調模型訓練為範例，透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
如何利用低位元量化技術進一步提升大模型推論性能
12 月12

如何利用低位元量化技術進一步提升大模型推論性能

Posted By on 12 月 12, 2023 in AI關鍵技術, Edge AI教學文, Edge AI開發地圖, Edge AI開發學習, Intel, LLM, OpenVINO, OpenVINO專欄, 教學文, 量化技術

相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

Posted By on 12 月 5, 2023 in AI關鍵技術, Edge AI開發地圖, Edge AI開發環境, Intel, LLM, OpenVINO, OpenVINO專欄, PyTorch, 技術新訊, 評測, 開箱文

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能，加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升，仍然以微調訓練的範例來展現它們的特性，並說明其使用方法和流程。

Read More