|
Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論
3 月27

Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論

新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力,單片就可達 20 petaFLOPS,二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍,推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器,則 FP8 訓練能力可高達 720 petaFLOPS, FP4 推論能力更高達1.44 exaFLOPS。而究竟什麼是 FP8 / FP4 呢?本篇文章會簡單幫大家科普一下。

Read More
【Edge AI專欄 #15】從MWC 2024看AI手機未來發展
3 月26

【Edge AI專欄 #15】從MWC 2024看AI手機未來發展

一年一度的世界通訊大會(MWC 2024)於2/26到2/29在西班牙巴塞隆納盛大舉行,此次重點落在了AI上,尤其是不靠連網、本機可獨立運算的生成式應用。為了讓大家更理解AI手機究竟有哪些方案供應商,硬體上究竟有哪些重大突破及軟體上到底能玩什麼應用,本篇文章會為各位一一介紹!

Read More
如何在Google Colab上運行OpenVINO Open Model Zoo範例
3 月07

如何在Google Colab上運行OpenVINO Open Model Zoo範例

本篇文章會以OMZ 影像分類(Classification) Public Pre-Trained Models為例,說明如何在Colab 上直接運行Intel Open Model Zoo。

Read More
【Edge AI專欄】從CES 2024 看Edge AI及TinyML最新發展趨勢
2 月26

【Edge AI專欄】從CES 2024 看Edge AI及TinyML最新發展趨勢

今年CES的主軸:人工智慧、數位健康、永續發展、汽車科技、遊戲與電子競技、擴增/虛擬實境、智慧城市、智慧家居等領域最新技術。為了讓大家更了解在邊緣智慧(Edge AI)和微型機器學習(TinyML / MCU AI)的最新趨勢,本篇文章簡單盤點了此次四十多項較具代表性的產品讓大家認識一下。

Read More
【Edge AI專欄】誰說單晶片沒有神經網路加速器NPU就不能玩微型AI應用?
1 月31

【Edge AI專欄】誰說單晶片沒有神經網路加速器NPU就不能玩微型AI應用?

本文將從「平行/向量指令集加速」的角度來為大家說明如何在沒有神經網路加速器NPU時也能順利玩微型AI應用。

Read More
【Edge AI專欄】AI Maker世代即將展開 – 大家跟上了嗎?
12 月26

【Edge AI專欄】AI Maker世代即將展開 – 大家跟上了嗎?

這一年來,遠在天邊(雲端)的技術迅速落地(邊緣),高階手機(Mobile)、單板微電腦(SBC)甚至高階單晶片(MCU)也有機會玩AIGC相關應用,這似乎意味著「AI Maker世代」即將到來。本篇文章,幫大家整理了有哪些硬體、軟體相關技術資源可用,還有哪些創意、應用可能成為AI Maker的新寵。

Read More