【知識庫】大模型時代終將走向終點？

如今生成式AI的背後技術，稱其為大模型很可能已經不夠貼切，模型中所需要的參數數量已是天文數字，是以稱其為「巨型模型」可能更加準確。OpenAI最早的語言模型GPT-2是於2019年所公佈的，當時就已經涵蓋了15億個參數。此後隨著不斷的擴容、提升與完善，截至目前最新版本的GPT-4 ，雖然OpenAI並沒有公佈其參數數量，但外界普遍認為已經達到了前代（GPT-3）的三十倍以上 — 3.5兆個。

人類網路歷史上的各種高質量語料，早在GPT- 3 以及後續發布的 GPT- 4 的學習中被消耗殆盡，誠然，大型模型的參數仍然可以持續膨脹，但是高質量的數據參數卻是在逐步減少，因此成長參數以「數量」所帶來的效益正逐步降低，就如同摩爾定律。

數據中心（圖片來源）

除了數據與效益不對等之外，GPU以及建設數據中心的物理限制與高昂成本，或許才是這些AI大模型開發公司的切膚之痛。營運巨型數據服務中心的成本高昂，再加上AI大模型訓練的話，不管是電力還是水力，其所花費的成本代價亦是非常可觀的。

AI產業的摩爾定律？

「一味不計成本地堆砌硬體不是未來」已經成為越來越多業內人士的共識。現今的AI發展，近似於網路早期發展的即視感：產業發展中已經出現了「摩爾定律」，訓練大模型的GPU集群，與世上第一台電腦在本質上並沒有太多的區別。很顯然，人工智慧的領域中，欠缺了一場「半導體革命」。在發展中需要探索其他更加高效的模式— 或許是參數的精簡，或許是利用多個小模型疊加利用，又或許是開闢出一條全新的AIGC發展方向。

機房（圖片來源）

未來AI的發展方向是何方？

AI應用的不斷創新，除了為大模型技術探索更多的應用外，也是現有算力之下，不斷地向外求索AI的更多可能。再這樣不斷嘗試與回饋之下，AI也不間斷的向前發展。可以預測的是AI絕不會止步於大模型，即便對現今AIGC技術而言大模型的技術至關重要。

AI 不會永遠依賴大模型的參數提升以及堆砌算力來構建未來。開發更小也更精準的模型，更加具體的應用場景等等，或許正是未來AI發展的重中之重。到時候，隨著大模型時代的結束，或許就會是人工智能時代真正的開始。

延伸閱讀

大模型時代即將終結？AI 產業何去何從？Altman 說了什麼？OpenAI CEO說 GPT-4的大模型時代已經快結束，AI 突破需另闢蹊徑