|
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
如何利用低位元量化技術進一步提升大模型推論性能
12 月12

如何利用低位元量化技術進一步提升大模型推論性能

相比運算量的增加,大模型推論速度更容易受到記憶體頻寬的影響,導致算力資源無法得到充分發揮,進而影響性能;低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一,本文將探討低位元量化技術如何幫助LLM提升性能,以及新版OpenVINO對於低位元量化技術的支援。

Read More
活用IPEX和Intel GPU加速大型語言模型訓練效率
12 月05

活用IPEX和Intel GPU加速大型語言模型訓練效率

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能,加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升,仍然以微調訓練的範例來展現它們的特性,並說明其使用方法和流程。

Read More
Intel攜手生態系夥伴展示AI智慧醫療應用最新成果
11 月30

Intel攜手生態系夥伴展示AI智慧醫療應用最新成果

英特爾(Intel)攜手24家合作夥伴於年度台灣醫療科技展(Healthcare+ EXPO 2023)共同展示基於最新AI技術的實際應用案例,並將與近300位來自東南亞、東北亞、歐洲、中東、美州的國際代表團專家互相交流分享,以及安排超過80場的商業媒合會議,促進台灣與國際合作機會,持續擴大智慧醫療推廣與應用。

Read More
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
11 月29

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

Read More
OpenVINO 2023.2版本發佈:讓生成式AI在實際場景中更易用
11 月22

OpenVINO 2023.2版本發佈:讓生成式AI在實際場景中更易用

OpenVINO發佈最新2023.2版本了!與之前的版本一樣,在提高性能、增加對新AI模型的支援,以及構建基礎設施和模型快取等不同元件方面都有重大改進,除了並導入在CPU和整合顯卡上運作權重量化為int8和int4精度的LLM的能力,也更新了模型轉換和最佳化工具;OpenVINO產品架構師Yury Gorbachev將在本文詳細介紹新版本的優勢。

Read More