為什麼Gemma採取Decoder-Only Transformer架構呢?

Posted By 高煥堂 on 4 月 8, 2024 in Edge AI教學文, Gemini, Gemma, LLM, 教學文, 深度學習 | 0 comments

作者：黃佳琪、高煥堂 / 神櫻團隊成員

使用Gemma源碼解說

從典型的Transformer模型說起

最初在 2017 年的論文「Attention is All You Need」中介紹，Transformer 具有解碼器(Decoder)和編碼器(Encoder)部分。如下圖：