|

活用IPEX和Intel GPU加速大型語言模型訓練效率

以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的裝置來發揮Intel GPU的潛能,加速AI模型的訓練和推論。本篇文章將說明如何善用上述兩項產品來實現效能的大幅提升,仍然以微調訓練的範例來展現它們的特性,並說明其使用方法和流程。

Read More

利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例

本文將說明如何擅用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

Read More

以AI進行無人機巡檢河川地貌分析

由於工業科技快速發展,環境議題一直備受討論與重視;近幾年,由於邊緣運算、AI、硬體加速與無人機等技術趨於成熟,公民營機構--尤以公部門為首--開始思考是否能借助科技的力量來進行環境工程,本文即以AI物件分割技術作為技術基礎,配合台中市環保局河川揚塵防治計畫進行河床地貌影像分割。

Read More

【開箱評測】OpenVINO讓你不上網也能和Dolly聊聊天

以往在AI模型部署優化及推論部份,通常都會想到使用 Intel OpenVINO,不過大家多半只注意到它在「電腦視覺」相關的應用,殊不知自從2022.1版後就已開始加入許多「自然語言」的範例。而最近2023.0版又更加強GPU處理記憶體動態外形(Dynamic Shape)的能力,使得如生成型預訓練變換模型(GPT)這類基於轉換器(Transfomer)技術的大型語言模型能得到更好的實現。

Read More
No more posts to show