【Arm的AI世界】運用Web AI以瀏覽器實現裝置端智慧
本文將帶領讀者了解Web AI (瀏覽器端 AI)如何將本機AI推論帶入瀏覽器,提升回應速度、隱私性,以及在Arm平台上的可攜性。
創客AI特技:免CPU與OS跑神經網路、老伺服器跑LLM、Claude傳呼機
Paracha用MNIST的資料集(或稱數據集)以及PyTorch來訓練模型,模型可以識別28 x 28解析度的圖片,並有32層隱藏層,能識別0~9的阿拉伯數字筆跡,訓練出的模型具有25,888個權重參數。
創客AI特技:10美元MCU跑LLM、用Tiny LLM跑虛擬水族箱
YouTube上Dsn Industries嘗試將1.35億個參數量的LLM跑在只有10美元的MCU上,更具體而言是一片具有ESP32-S3晶片的開發板。
【Arm的AI世界】運用功能安全、容器與DDS打造安全且可擴展的汽車系統
在 Arm 上運用功能安全、容器化工作負載,以及以DSS為基礎的即時通訊,打造安全、模組化的 SDV 系統。
Vibe Coding正在與創客雙向激盪
Vibe Coding讓寫程式更便利,而Maker針對Vibe Coding開發出各種更專精、更簡易的互動操作週邊裝置,反過來也讓Vibe Coding更便利。
軟體技術讓MCU、SBC能跑輕量化LLM
近期就有兩則以MCU、SBC執行LLM的技術嘗試,一是用只有8美元的ESP32-S3 MCU來跑2,890萬個參數的Gemma模型,另一是用RPi 5 SBC來跑大語言模型,但卻是以裸機(Bare Metal)方式來跑,以下分別更深入說明。
