|
【創業小聚】OpenAI的「7叛徒」另立門戶,新創Anthropic真能打敗ChatGPT?
4 月15

【創業小聚】OpenAI的「7叛徒」另立門戶,新創Anthropic真能打敗ChatGPT?

新創公司Anthropic是由OpenAI的前員工們成立的,前陣子公布了最新AI模型:Claude 3,號稱在推理與計算能力上都超越了GPT-4,再次將AI競賽推向了另一個高峰。本篇文章會簡單介紹這些前OpenAI員工對AI模型的看法與願景。

Read More
Arm新一代Ethos-U NPU與IoT參考設計平台亮相
4 月10

Arm新一代Ethos-U NPU與IoT參考設計平台亮相

Arm的嵌入式AI加速器Ethos-U系列NPU再添新成員U85;與上一代產品相比,Ethos-U85的效能號稱提升四倍,並提高了20%功耗效率…

Read More
  為什麼Gemma採取Decoder-Only Transformer架構呢?
4 月08

  為什麼Gemma採取Decoder-Only Transformer架構呢?

本篇文章會說明Gemma為何會採取Decoder-Only Transformer架構,並針對Decoder-Only Transformer架構進行介紹。

Read More
以服務精神經營Edge AI市場 DeepMentor志在實現「模型經濟」
4 月08

以服務精神經營Edge AI市場 DeepMentor志在實現「模型經濟」

DeepMentor目前的解決方案,是以獨家的AI模型/演算法微型化軟體技術為基礎,搭配名為DeepLog的自有AI處理器(TPU)軟IP,以及DMAI系列AI加速硬體系統(Arm架構加速卡DMAI FPGA與Intel x86架構DMAI-700/900),提供涵蓋模型訓練、ASIC設計、嵌入式系統軟硬體整合的客製化Edge AI應用落地服務。

Read More
如何從0訓練企業自用Gemma模型
4 月03

如何從0訓練企業自用Gemma模型

Gemma模型是Text到Text的大型語言模型,非常適合各種文本生成任務。其有多種使用途徑,包括使用新資料來微調Gemma模型、拿Gemma開源程式碼,而從頭開始訓練它,本文將介紹如何從0訓練企業自用Gemma模型。

Read More
Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論
3 月27

Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論

新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力,單片就可達 20 petaFLOPS,二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍,推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器,則 FP8 訓練能力可高達 720 petaFLOPS, FP4 推論能力更高達1.44 exaFLOPS。而究竟什麼是 FP8 / FP4 呢?本篇文章會簡單幫大家科普一下。

Read More