如何從0訓練企業自用Gemma模型

Posted By 高煥堂 on 4 月 3, 2024 in AI關鍵技術, Edge AI教學文, Gemini, Gemma, Google, LLM, 教學文, 深度學習 | 0 comments

作者：高煥堂

1.Gemma簡介

• Gemma是最先進的開源大語言模型(LLM)，它是Gemini模型小而美精緻版本。 Gemma 是由Google DeepMind團隊所主導創建的。

(https://developers.googleblog.com/2024/02/gemma-models-in-keras.html)

• Gemma模型是Text到Text的大型語言模型，非常適合各種文本生成任務，包括提問，摘要、和推理等。
• 有多種使用途徑，包括：(1) 使用新資料來微調Gemma模型，並不從頭開始重新訓練它。(2) 拿Gemma開源程式碼，而從頭開始訓練它。
• 本文介紹上述的第2種用法：如何從0訓練企業自用Gemma模型。

2.下載Gemma程式碼

首先進入這個網頁：https://github.com/google/gemma_pytorch