|
釋放多模態AI的力量:利用Pix2Struct和Optimum Intel
6 月17

釋放多模態AI的力量:利用Pix2Struct和Optimum Intel

多模態可以同時處理視覺、聽覺和文字資料,以驚人的深度和精確度解釋其環境;在這篇文章中,我們將深入探討多模態AI的能力,並探索Intel的OpenVINO工具套件如何最佳化這些複雜系統,以因應現實世界的應用。

Read More
【活動報導】AI PC搭OpenVINO 在邊緣輕鬆部署LLM!
5 月30

【活動報導】AI PC搭OpenVINO 在邊緣輕鬆部署LLM!

為了讓開發者更充分了解如何在自己的AI PC上發揮Intel最新版本OpenVINO開發平台的效能以實現更多創新應用,MakerPRO與Intel共同舉辦了以「探索AI PC新時代,學習在邊緣裝置輕鬆運作LLM」為題的第四場OpenVINO DevCon線上講座。

Read More
LoRA微調三步驟:以大語言模型MT5為例
5 月02

LoRA微調三步驟:以大語言模型MT5為例

本篇文章,將以MT5-small預訓練大模型為例,並以Python源碼(Source Code)來說明如何進行LoRA微調三步驟。

Read More
  為什麼Gemma採取Decoder-Only Transformer架構呢?
4 月08

  為什麼Gemma採取Decoder-Only Transformer架構呢?

本篇文章會說明Gemma為何會採取Decoder-Only Transformer架構,並針對Decoder-Only Transformer架構進行介紹。

Read More
如何從0訓練企業自用Gemma模型
4 月03

如何從0訓練企業自用Gemma模型

Gemma模型是Text到Text的大型語言模型,非常適合各種文本生成任務。其有多種使用途徑,包括使用新資料來微調Gemma模型、拿Gemma開源程式碼,而從頭開始訓練它,本文將介紹如何從0訓練企業自用Gemma模型。

Read More
Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論
3 月27

Nvidia GTC 2024 提出的 FP8/FP4 如何加速AI訓練及推論

新一代 GPU Blackwell B200 在硬體端提供了 FP4 計算能力,單片就可達 20 petaFLOPS,二片 B200 組成的 GB200 在訓練性能是前一代 H100 的 4 倍,推論性能更高達 7 倍。若再將 36個 CPU 加上 72 個 GPU 組成「GB200 NVL72」超大型伺服器,則 FP8 訓練能力可高達 720 petaFLOPS, FP4 推論能力更高達1.44 exaFLOPS。而究竟什麼是 FP8 / FP4 呢?本篇文章會簡單幫大家科普一下。

Read More