運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以
拿大模型程式碼來訓練自用小模型:以AI寫(畫)書法為例
本文會拿Diffusion來學習及創作書法字體,也就是俗稱的:寫書法。雖然Diffusion也能學習依循標準筆順,來逐筆寫出字形。為了從簡單範例出發,本文先讓Diffusion來學習程生成整個字形,而不是逐一生成各筆劃。
從CLIP應用領會潛藏空間(Latent space)的魅力
本文將從商店櫃檯的產品推薦應用來說明:我們可以拿CLIP的原始程式碼,搭配商家自有產品圖像(Image)和圖像敘述文句(Text),來訓練出企業自用的CLIP小模型,同時也領會其幕後潛藏空間(Latent space)的運作及其效果。
活用IPEX和Intel GPU加速大型語言模型訓練效率
以IPEX (Intel-Extension-for-PyTorch)搭配Intel硬體產品,可提供最佳化功能大幅提升運作效能。例如透過PyTorch的
利用Intel平台提升LLM微調與訓練效率:ResNet50+LoRA範例
本文將說明如何擅用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。
闡述Stable Diffusion繪圖AI的架構知識 (上): 細說Encoder
SD(Stable Diffusion)是當今頂級的Text-to-Image的繪畫技術,本文將介紹其中的重要觀念:負責嵌入的模型(Encoder)及負責生成的核心模型(Decoder) 。