創客AI特技:免CPU與OS跑神經網路、老伺服器跑LLM、Claude傳呼機
Paracha用MNIST的資料集(或稱數據集)以及PyTorch來訓練模型,模型可以識別28 x 28解析度的圖片,並有32層隱藏層,能識別0~9的阿拉伯數字筆跡,訓練出的模型具有25,888個權重參數。
創客AI特技:10美元MCU跑LLM、用Tiny LLM跑虛擬水族箱
YouTube上Dsn Industries嘗試將1.35億個參數量的LLM跑在只有10美元的MCU上,更具體而言是一片具有ESP32-S3晶片的開發板。
Vibe Coding正在與創客雙向激盪
Vibe Coding讓寫程式更便利,而Maker針對Vibe Coding開發出各種更專精、更簡易的互動操作週邊裝置,反過來也讓Vibe Coding更便利。
軟體技術讓MCU、SBC能跑輕量化LLM
近期就有兩則以MCU、SBC執行LLM的技術嘗試,一是用只有8美元的ESP32-S3 MCU來跑2,890萬個參數的Gemma模型,另一是用RPi 5 SBC來跑大語言模型,但卻是以裸機(Bare Metal)方式來跑,以下分別更深入說明。
【活動報導】Hack to Refund#2:挑戰Arduino Nano 33 BLE Sense Rev2開發任務
本次活動選定的開發板為Arduino(已屬Qualcomm但仍維持中立營運)的Arduino Nano 33 BLE Sense Rev2開發板,5項功能實證則為LED燈號閃爍、三軸加速度感測器感測、上下左右四向手勢識別、距離近接感測以及Yes/No關鍵字語音識別,參與活動者至少要完成前4個功能實證。
