|
【技術導讀】Google推出Web API技術,用瀏覽器運行LLM沒問題!
10 月11

【技術導讀】Google推出Web API技術,用瀏覽器運行LLM沒問題!

Google推出網頁版 LLM 推論API,使在瀏覽器中運行小型大型語言模型(LLMs)成為可能。此一Web API技術的特色通過 WebAssembly 和 WebGPU 效率地利用設備端的 GPU 來加速運算,克服了記憶體限制,甚至可以在瀏覽器中運行更大的模型,例如Gemma 1.1 7B。

Read More
【Arm的AI世界】Kleidi助力開發人員加速AI創新
6 月27

【Arm的AI世界】Kleidi助力開發人員加速AI創新

Arm Kleidi是一項廣泛的軟體和軟體社群參與計畫,目的在於加速AI發展。首先推出運用於熱門AI框架的Arm Kleidi軟體函式庫,開發人員可以直接取得Arm CPU出色的AI功能;而如今全球從雲端到邊緣的大多數AI推論工作負載,都在這些Arm CPU上執行。

Read More
【2024 MAI Talks】打造小而美的 Local LLM 對話機器人
6 月17

【2024 MAI Talks】打造小而美的 Local LLM 對話機器人

淩耀電子經理林士允分享了如何打造小而美的 Local LLM(本地大型語言模型)對話機器人。

Read More
  為什麼Gemma採取Decoder-Only Transformer架構呢?
4 月08

  為什麼Gemma採取Decoder-Only Transformer架構呢?

本篇文章會說明Gemma為何會採取Decoder-Only Transformer架構,並針對Decoder-Only Transformer架構進行介紹。

Read More
如何從0訓練企業自用Gemma模型
4 月03

如何從0訓練企業自用Gemma模型

Gemma模型是Text到Text的大型語言模型,非常適合各種文本生成任務。其有多種使用途徑,包括使用新資料來微調Gemma模型、拿Gemma開源程式碼,而從頭開始訓練它,本文將介紹如何從0訓練企業自用Gemma模型。

Read More
推探Google開源、輕量級大型語言模型Gemma
3 月21

推探Google開源、輕量級大型語言模型Gemma

Google基於原有Gemini模型經驗與技術衍生打造Gemma模型,該模型為開放來源程式碼,滿足開源需要的開發者與用戶,有機會進行更多的延伸、衍生或更細深的客製。本篇文章就會對Gemma進行簡單的介紹。

Read More