|
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

Posted By on 12 月 18, 2023 in Edge AI教學文, Edge AI開發地圖, Edge AI開發學習, LLM, OpenVINO專欄, OpenVINO應用, OpenVINO評測文, PyTorch, 教學文, 評測

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術，來最佳化大型AI模型的訓練速度與記憶體節省，並延續以微調模型訓練為範例，透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

Posted By on 12 月 5, 2023 in AI關鍵技術, Edge AI開發地圖, Edge AI開發環境, Intel, LLM, OpenVINO, OpenVINO專欄, PyTorch, 技術新訊, 評測, 開箱文

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品，可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能，加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升，仍然以微調訓練的範例來展現它們的特性，並說明其使用方法和流程。

Read More