|
【TinyML開發平台】尋找下一個Edge Impulse!
12 月27

【TinyML開發平台】尋找下一個Edge Impulse!

截至目前(2023年12月)止,Edge Impulse仍是中立之身,但後續走上相同的被併之路也不無可能,如此是否還有與之相同相仿的廣泛中勵行Edge AI/TinyML開發平台呢?本篇文章會與各位分享幾家能夠進行Edge AI/TinyML開發平台!

Read More
【Edge AI專欄】AI Maker世代即將展開 – 大家跟上了嗎?
12 月26

【Edge AI專欄】AI Maker世代即將展開 – 大家跟上了嗎?

這一年來,遠在天邊(雲端)的技術迅速落地(邊緣),高階手機(Mobile)、單板微電腦(SBC)甚至高階單晶片(MCU)也有機會玩AIGC相關應用,這似乎意味著「AI Maker世代」即將到來。本篇文章,幫大家整理了有哪些硬體、軟體相關技術資源可用,還有哪些創意、應用可能成為AI Maker的新寵。

Read More
【Maker 玩 AI】Grove Vision AI 模組讓 Arduino 也能玩 YOLO 模型
12 月26

【Maker 玩 AI】Grove Vision AI 模組讓 Arduino 也能玩 YOLO 模型

日前 Seeed Studio 推出相同核心的 Grove Vision AI 智慧鏡頭模組,筆者便以行動支持國產晶片入手一片進行測試!本篇文章會介紹如何透過 Grove Vision AI 使Arduino也能玩轉YOLO 模型!

Read More
AI PC市場大餅浮現,Intel、AMD為開發者做好準備了?
12 月20

AI PC市場大餅浮現,Intel、AMD為開發者做好準備了?

迎接2024的AI PC世代,Intel及AMD都已做好準備,分別提出自己的軟、硬體解決方案,希望拉攏更多開發者在其平台上做出能發揮AIGC、LLM模型的創新應用。

Read More
運用BF16與NHWC技術實現進階版LLM微調訓練最佳化
12 月18

運用BF16與NHWC技術實現進階版LLM微調訓練最佳化

本文要來介紹如何利用BF16半精度浮點數以及將影像資料設為NHWC格式兩項技術,來最佳化大型AI模型的訓練速度與記憶體節省,並延續以微調模型訓練為範例,透過完整程式碼來示範如何發揮這兩項新技術的用法和魅力。

Read More
如何利用低位元量化技術進一步提升大模型推論性能
12 月12

如何利用低位元量化技術進一步提升大模型推論性能

相比運算量的增加,大模型推論速度更容易受到記憶體頻寬的影響,導致算力資源無法得到充分發揮,進而影響性能;低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一,本文將探討低位元量化技術如何幫助LLM提升性能,以及新版OpenVINO對於低位元量化技術的支援。

Read More