Transformer Archives

2 月13

【Arm的AI世界】運用小語言模型在邊緣端實現生成式AI

儘管大語言模型(LLM)更廣為人知，但由於小語言模型(SLM)能夠以更少資源、較低成本提供出色的效能，而且訓練起來也更為簡易且成本更低，因此受到越來越多的關注；Arm展示了搭載Ethos-U85 NPU的系統晶片解決方案如何在嵌入式硬體上運作小語言模型。

關於開發平台，大家最常聽到的無疑是Hugging Face和GitHub，它們對開發者是日常工作不可或缺的，但非開發者的你我可能還分不清兩者的定位差異，本文將比較兩者在功能與用途上有何不同。

本篇文章，將以MT5-small預訓練大模型為例，並以Python源碼(Source Code)來說明如何進行LoRA微調三步驟。