作者：陸向陽
圖1 M5Stack推出大語言模型模組（圖片來源：M5Stack官網）
M5Stack過往即以簡單直覺的「方塊砌疊方式」提供模組化硬體功能而聞名，受到許多STEM教學者、學習者以及Maker的愛戴，而近期M5Stack跟隨潮流，也推出LLM的硬體產品，就稱為M5Stack LLM模組（以下簡稱LLM模組）。
硬體規格
LLM模組內主要是使用一顆愛芯元智（Axera）公司的AX630C晶片，該晶片內有一個Arm Cortex-A53核心，時脈1.2GHz，另配有一個自家開發的NPU，如此在8位元整數精度（INT8）下能有3.2TOPS效能，若為4位元整數精度（INT4）則可至12.8TOPS，老實說與其他創客AI硬體套件相比是相對弱的，不過M5Stack的主控制器本身為ESP32晶片，也並非以效能為第一取向。
接著LLM模組有4GB LPDDR4記憶體，其中3GB專屬配給NPU，只有1GB給作業系統，作業系統主要是Ubuntu Linux，儲存在LLM模組上的32GB快閃記憶體內，使用eMMC 5.1介面，LLM模組上也有microSD卡槽，可讓作業系統升級。另外官方表示LLM模組很省電，大致不超過1.5瓦用電（使用台積電12奈米製程生產）。
其他硬體配備則有1瓦的喇叭、USB-OTG介面、3顆RGB三色LED燈號、麥克風等，並可支援USB介面的攝影機，言下之意也可以有電腦視覺方面的AI應用。
支援模型
瞭解硬體後更重要的是LLM模型方面，LLM模組預設可用Qwen2.5-0.5B模型，顧名思義模型參數約5億個，且已經針對Edge AI應用需求與情境進行調整，另外也已經具備喚醒字（Wake Word, KWS）、語音識別（Speech Recognition, ASR）模型、文字轉語音（Text-To-Speech, TTS）等功能。
更簡單說，喚醒字類似Hi Siri、Ok Google一樣，可以要求機器開始仔細聆聽你接下來的發話，有了這個模型就能定義自己的喚醒字；而語音識別模型自然是將你的話語轉換成文字，再進一步餵給LLM模型（這裡即Qwen2.5-0.5B），而LLM模型產生的文字也可以轉成語音，透過喇叭發聲回應。言下之意LLM模組可以立即實現一個語音助手、智慧喇叭，而且不用連網就能提供回應。
描述至此很明顯，由於AX630C晶片的推論效能有限，自然不可能跑龐大參數的大語言模型，一般常見的本地端大語言模型約70億個參數，若使用AX630C晶片可能要跑上數分鐘才有結果，實務應用上我們不可能問一個問題，等候數分鐘才有語音回應。
而LLM模組選用了Qwen2.5模型（第2.5代的Qwen，此前有第一代、第二代），其實本身就是一個相對小參數量的大語言模型（開源，主要由Alibaba開發），0.5B版也是此模型最少參數量的一種，其他尚有15億、70億、720億個參數的版本。Qwen2.5在2024年9月發表隨即11月就被M5Stack用上。
參數量遷就硬體效能、規格的結果，自然是回覆表現的受限，通常不能理解與回應複雜的問題，即便有答覆也難以詳整。或許因為如此，目前M5Stack主張LLM模組適合的應用主要為智慧家庭控制、互動機器人、文字轉語音、離線語音助理等。
後續展望
Qwen2.5-0.5B是LLM模組現階段的支援，但官方也預告未來將支援更多的模型，例如Qwen2.5-1.5B，參數量是Qwen2.5-0.5B的三倍，或者是Llama3.2-1B（開源，主要由Meta開發）、InternVL2-1B。
如果LLM模組加裝上前面提及的USB介面攝影機，則對應使用的模型也有CLIP、YOLO-World，或者是DepthAnything、SegmentAnything等其他先進的模型。其他軟體支援也包含可用StackFlow框架、Arduino/UiFlow函式庫。
除了將支援更多的模型外，M5Stack也為LLM模組推出搭配的硬體，例如除錯套件（Debugging Kit），該套件有一個快速乙太網路（Fast Ethernet，100Mbps）介面以及一個可連到專屬核心的串列埠（115.2kbps），以便讓AI模型訓練者找出開發過程中的問題，屬於進階性需求，通常是確定要將M5Stack用於產業實務應用時才會需要，一般STEM教學、概念驗證（PoC）等則不太需要。
最後，LLM模組畢竟是M5Stack的一個新功能模組，依然受主控模組（即開發板）的控制，LLM模組相容4種主控模組，分別是Core、Core2、CoreS3以及Core MP135。
更簡單說，方塊構型的Core系列大體都適用，少數不合適，條狀的Stick系列、極小巧的Atom系列、適合接麵包板的Stamp系列，或者是特有的電子紙E-Paper系列等均不適用。
LLM模組已經在M5Stack官方線上商店可見，但缺貨中，售價49.9美元，而除錯套件尚未知價格。
圖2 M5Stack LLM模組技術規格示意圖（圖片來源：M5Stack官網）
延伸閱讀
- 創客積木M5Stack加入LLM戰局 - 2024/11/29
- MLPerf大語言模型、生成式AI測項觀察 - 2024/11/27
- Sony強力加持！樹莓派發表專屬AI攝影機 - 2024/10/28
.jpg)
.jpg)