創客AI特技:免CPU與OS跑神經網路、老伺服器跑LLM、Claude傳呼機
Paracha用MNIST的資料集(或稱數據集)以及PyTorch來訓練模型,模型可以識別28 x 28解析度的圖片,並有32層隱藏層,能識別0~9的阿拉伯數字筆跡,訓練出的模型具有25,888個權重參數。
創客AI特技:10美元MCU跑LLM、用Tiny LLM跑虛擬水族箱
YouTube上Dsn Industries嘗試將1.35億個參數量的LLM跑在只有10美元的MCU上,更具體而言是一片具有ESP32-S3晶片的開發板。
【Arm的AI世界】運用功能安全、容器與DDS打造安全且可擴展的汽車系統
在 Arm 上運用功能安全、容器化工作負載,以及以DSS為基礎的即時通訊,打造安全、模組化的 SDV 系統。
Vibe Coding正在與創客雙向激盪
Vibe Coding讓寫程式更便利,而Maker針對Vibe Coding開發出各種更專精、更簡易的互動操作週邊裝置,反過來也讓Vibe Coding更便利。
軟體技術讓MCU、SBC能跑輕量化LLM
近期就有兩則以MCU、SBC執行LLM的技術嘗試,一是用只有8美元的ESP32-S3 MCU來跑2,890萬個參數的Gemma模型,另一是用RPi 5 SBC來跑大語言模型,但卻是以裸機(Bare Metal)方式來跑,以下分別更深入說明。
【創業小聚】創辦Moonlake拿下9億募資,不到30歲台灣人讓NV、陳士駿都買單的點子是?
在Moonlake AI出現之前,一家遊戲公司要打造一個3D場景,或一家機器人公司要生出一個能訓練機器人的模擬環境,往往得動用一整組美術和工程師,耗上好幾個月的時間。Moonlake要把這件事變簡單:任何人打一句話描述,幾分鐘內就生成一個能互動的2D或3D世界,裡面的物件擺放、物理規則、角色行為,都由模型自動補上。
