本文將說明如何善用英特爾(Intel)所研發的新產品和相關技術,來提升AI模型的訓練效率,以便提供更優質的推論功能。其中,英特爾推出了兩項核心產品:
- 核心軟體是:Intel-extension-for-pytorch。
- 核心硬體是:Intel(R) Data Center GPU Flex 170。
而與以上核心產品息息相關的重要技術是:19381
- BF16浮點數精度。
- 資料格式設為 Channel_last資料格式(即是NHWC格式)。
為了循序漸進介紹上述的新產品及其相關的使用技術,本文先從大家熟悉ResNet50圖像分類模型做為起步範例,並搭配LoRA來進行外掛訓練,以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。
<ResNet50+LoRA>訓練範例
簡介ResNet50
ResNet50是很通用的AI模型,擅長於圖像的特徵提取(Feature extraction),然後依據特徵來進行分類(Classification)。所以,它能幫您瞬間探索任何一張圖像的特徵,然後幫您識別出圖片裡的人或物的種類。目前的ResNet50可以準確地識別出1,000種人或物,如日常生活中常遇到的狗、貓、食物、汽車和各種家居物品等。例如,您可以從百度圖片上截取一張224x224大小的圖片(圖1):
圖1:輸入給ResNet50的圖像
當您把這圖片提交給ResNet50,它會瞬間探索並進行分類,然後告訴您:我預測這是大熊貓(Giant panda)。
簡介LoRA
隨著大語言模型(LLM)等大模型日益繁榮發展,基於這些大模型的遷移學習(Transfer learning),將其預訓練好的模型加以微調(Fine tune),來適應到下游的各項新任務,已經成為熱門的議題。關於微調技術,其中LoRA是一種資源消耗較小的訓練方法,它能在較少訓練參數時就得到比較穩定的效果。
LoRA的全名是:Low-Rank Adaptation of Large Language Models (及大語言模型的低階適應)。使用這種LoRA微調方法進行訓練時,並不需要調整原(大)模型的參數值(圖2裡的藍色部分),而只需要訓練LoRA模型的參數(圖2裡的棕色部分)。
只需不到短短一分鐘...
輸入您的信箱與ID註冊即可享有一切福利!
會員福利
免費電子報
會員搶先看
主題訂閱
好文收藏