【TinyML開發平台】尋找下一個Edge Impulse!
截至目前(2023年12月)止,Edge Impulse仍是中立之身,但後續走上相同的被併之路也不無可能,如此是否還有與之相同相仿的廣泛中勵行Edge AI/TinyML開發平台呢?本篇文章會與各位分享幾家能夠進行Edge AI/TinyML開發平台!
【Edge AI專欄】AI Maker世代即將展開 – 大家跟上了嗎?
這一年來,遠在天邊(雲端)的技術迅速落地(邊緣),高階手機(Mobile)、單板微電腦(SBC)甚至高階單晶片(MCU)也有機會玩AIGC相關應用,這似乎意味著「AI Maker世代」即將到來。本篇文章,幫大家整理了有哪些硬體、軟體相關技術資源可用,還有哪些創意、應用可能成為AI Maker的新寵。
【Maker 玩 AI】Grove Vision AI 模組讓 Arduino 也能玩 YOLO 模型
日前 Seeed Studio 推出相同核心的 Grove Vision AI 智慧鏡頭模組,筆者便以行動支持國產晶片入手一片進行測試!本篇文章會介紹如何透過 Grove Vision AI 使Arduino也能玩轉YOLO 模型!
AI PC市場大餅浮現,Intel、AMD為開發者做好準備了?
迎接2024的AI PC世代,Intel及AMD都已做好準備,分別提出自己的軟、硬體解決方案,希望拉攏更多開發者在其平台上做出能發揮AIGC、LLM模型的創新應用。
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以
如何利用低位元量化技術進一步提升大模型推論性能
相比運算量的增加,大模型推論速度更容易受到記憶體頻寬的影響,導致算力資源無法得到充分發揮,進而影響性能;低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一,本文將探討低位元量化技術如何幫助LLM提升性能,以及新版OpenVINO對於低位元量化技術的支援。