利用Intel平台提升LLM微調與訓練效率：ResNet50+LoRA範例

Posted By 高煥堂 on 11 月 29, 2023 in Edge AI教學文, Edge AI開發地圖, Intel, LLM, LoRA, OpenVINO, OpenVINO專欄, OpenVINO教學文, OpenVINO評測文, 教學文, 開箱文 | 0 comments

本文將說明如何擅用英特爾(Intel)所研發的新產品和相關技術，來提升AI模型的訓練效率，以便提供更優質的推論功能。其中，英特爾推出了兩項核心產品：

• 核心軟體是：Intel-extension-for-pytorch。
• 核心硬體是：Intel(R) Data Center GPU Flex 170。

而與以上核心產品息息相關的重要技術是：19381

• BF16浮點數精度。
• 資料格式設為 Channel_last資料格式(即是NHWC格式)。

為了循序漸進介紹上述的新產品及其相關的使用技術，本文先從大家熟悉ResNet50圖像分類模型做為起步範例，並搭配LoRA來進行外掛訓練，以便從這簡單範例中充分理解如何活用上述的創新產品及相關技術。

<ResNet50+LoRA>訓練範例

簡介ResNet50

ResNet50是很通用的AI模型，擅長於圖像的特徵提取(Feature extraction)，然後依據特徵來進行分類(Classification)。所以，它能幫您瞬間探索任何一張圖像的特徵，然後幫您識別出圖片裡的人或物的種類。目前的ResNet50可以準確地識別出1,000種人或物，如日常生活中常遇到的狗、貓、食物、汽車和各種家居物品等。例如，您可以從百度圖片上截取一張224ｘ224大小的圖片(圖1)：

圖1：輸入給ResNet50的圖像

當您把這圖片提交給ResNet50，它會瞬間探索並進行分類，然後告訴您：我預測這是大熊貓(Giant panda)。

簡介LoRA

隨著大語言模型(LLM)等大模型日益繁榮發展，基於這些大模型的遷移學習(Transfer learning)，將其預訓練好的模型加以微調(Fine tune)，來適應到下游的各項新任務，已經成為熱門的議題。關於微調技術，其中LoRA是一種資源消耗較小的訓練方法，它能在較少訓練參數時就得到比較穩定的效果。

LoRA的全名是：Low-Rank Adaptation of Large Language Models (及大語言模型的低階適應)。使用這種LoRA微調方法進行訓練時，並不需要調整原(大)模型的參數值(圖2裡的藍色部分)，而只需要訓練LoRA模型的參數(圖2裡的棕色部分)。