作者：陸向陽
自從2022年11月OpenAI公司開放大眾使用ChatGPT線上服務後，人性口語化的文字訊息回覆讓人驚豔，同時也讓人懷疑是否還要繼續用Google的關鍵字搜尋？對此Google感受到壓力，緊急在2023年2月推出Bard因應，而後Microsoft在2023年9月推出基於OpenAI技術的Copilot，也使Google推出應對技術Duet AI。
而後2023年12月Google推出Gemini（雙子星、雙子座），並在2024年2月把Bard改名Gemini，同月再把Duet AI改名Gemini，顯見Google已決定集中挹注行銷資源在Gemini上。
圖1 Google AI技術產品名稱對應與推進（圖片來源：danfromplus）
輕量級大型語言模型Gemma
無論是ChatGPT或Bard，背後都是使用網路規模極大、參數量極大的大型語言模型（LLM），ChatGPT最初用的GPT-3 LLM就高達1,750億個參數，Gemini最初使用的LaMDA也有1,370億個參數，隨後兩項服務也都陸續更新升級成新模型，例如ChatGPT已使用GPT-3.5或GPT-4，Gemini也改用PaLM 2，其參數高達5,400億個，此後Gemini也成為正式模型名。
龐大的參數意味著需要龐大的運算力（通常在雲端資料中心裡）才能即時得到AI推論結果，否則會等待相當久，變成不實用。或者，必須將模型參數精簡，減少需求的運算量，以此加快推論速度，並因此有可能只使用桌機、筆電等機房外的系統來實現推論。
事實上Gemini確實有參數精簡版，即Gemini Nano，且還分成兩個版本：Gemini Nano-1（18億個參數）、Gemini Nano-2（32億個參數），已經有機會在前端（桌機、筆電、平板、手機）裝置上執行，但是Gemini是專屬模型，沒有開放來源程式碼，如此總有點讓人遺憾，特別是許多測試報告顯示，開放原始程式碼的LLM表現不見得輸專屬、封閉性的LLM，如果表現相近且又是開源的，那對開發者與用戶就更親和了！
因此Google基於原有Gemini模型經驗與技術衍生打造Gemma（拉丁語，原意：寶石）模型，該模型為開放來源程式碼，滿足開源需要的開發者與用戶，有機會進行更多的延伸、衍生或更細深的客製。
Gemma與Gemini Nano一樣有兩個參數版本：Gemma 2B、Gemma 7B，顧名思義是20億個參數版與70億個參數版。Gemma想定的對手是同樣採開放態度的模型Llama 2（來自Facebook母集團Meta）、Mistral（法國新創業者，2023年4月成立，成員多來自Google與Meta）。
圖2 Google官方揭露Gemma模型與Llama-2模型的能力比較，包含一般、推理、數學以及程式碼等四種表現的比較（圖片來源：Google）
既然要走開放路線，各方面也會進可能讓人方便，以及廣泛擁抱現行也採開放性態度的技術或工具，所以Gemma支援JAX、PyTorch、TensorFlow，也支援NVIDIA的NeMo、TensorRT-LLM，支援Hugging Face、MaxText。
然後，既然是Google推出的，也是盡可能支援自家工具或產品服務，例如Colab、Kaggle notebooks；硬體加速器方面，則支援NVIDIA GPU、Google自家的Cloud TPU，雲端服務也支援Google自家的Vertex AI、GKE。
另外現在大家都擔憂LLM/GenAI被濫用，人工智慧黑箱不公正、歧視事件已時有所聞，所以Gemma也加入Responsible Generative AI Toolkit工具，以及允許透過人為介入的意見回饋反應來增強模型的學習，稱為RLHF（Reinforcement Learning from Human Feedback），確保模型公正無偏袒、無歧視。至於訓練出來的模型是否足夠公正？這點也是需要評估的，對此Google也提供Model Card的評估工具給開發者運用。
進一步的，現在回話式人工智慧也常常發生「對專業性問題無法專業性回答」，若為了讓回答更顯專業化，因而重啟整個訓練程序，如此將相當耗時間成本。故現在Google在Gemma裡頭也倡議導入檢索增強生成（Retrieval-Augmented Generation, RAG），在不重新訓練的情況下提升回話品質。
小結
最後，Google為了彰顯推廣Gemma的決心，一方面提出過去早已開源的AI技術，如Transformers、TensorFlow、BERT、T5、JAX、AlphaFold以及AlphaCode。另一方面祭出各種實質獎勵，鼓勵評估與運用Gemma，例如開發者可以透過Kaggle自由使用Gemma，然後也可免費用Colab noebook，若第一次使用Google Cloud公有雲服務也提供約當300美元額度的使用權（其實本來就有），更重要的是還有約當50萬美元的Google Cloud使用額度可供申請，等待他人提交研究議題，審議核可再撥發。
至此很明顯的，Google推出輕量開源的Gemma有助於拉抬Google原有的各項工具與服務。或者反過來說：現有各項工具與服務有助於推廣Gemma，即相互幫襯。至於不堅持使用開源模型的開發者或用戶依然可選擇Gemini Nano，到底開發者與用戶最終趨向專屬或開放？對此可能有待觀察了！
（責任編輯：謝嘉洵。）
延伸閱讀
- Sony強力加持！樹莓派發表專屬AI攝影機 - 2024/10/28
- 【Qualcomm Inside】12TOPS Edge AI單板RUBIK Pi規格剖析 - 2024/10/20
- TinyML潛力股！MicroFlow挑戰TensorFlow Lite for Microcontrollers - 2024/10/15
.jpg)
.jpg)