|

迎向算力黃金期:AI浪潮如何徹底重構全球記憶體產業

   

過去數十年來,半導體記憶體產業始終擺脫不了「景氣循環」的宿命。從個人電腦到智慧型手機的世代交替,記憶體廠商總是在需求爆發時擴產、過剩時削價血戰,使得 DRAM 與 NAND Flash 晶片長年被市場視為規格標準化、利潤微薄的「大宗商品(Commodity)」。

然而,自 2023 年生成式 AI 爆發以來,這套運行了數十年的經濟法則被徹底改寫。算力需求不再只是對晶片邏輯運算速度的追求,更是對「資料吞吐頻寬」與「海量儲存讀寫」的極限考驗。記憶體從過去不被看重的輔助角色,躍升為決定 AI 模型能否順利運作、算力能否釋放的核心關鍵。

如今,全球記憶體市場正處於一場前所未有的結構性變革中。產能排擠、技術迭代與供需失衡,將記憶體晶片推向了「從菜市場賤價賣,到有錢也買不到」的黃金時代。

算力心臟與海量血庫:DRAM/HBM 與 eSSD 的技術重組

要理解 AI 對記憶體的衝擊,必須先剖析 AI 伺服器運作時的兩大核心元件:負責即時運算快取的 DRAM/HBM,以及負責儲存海量訓練資料的 NAND Flash 技術(如 eSSD)。

1. 運算層的頻寬革命:DRAM 與 HBM

傳統 DRAM(如 DDR5)採用平面插槽設計,雖然容量擴充彈性高,但資料傳輸通道(Bus Width)較窄,面對大語言模型(LLM)數千億參數的頻繁調用,極易形成「記憶體高牆(Memory Wall)」,導致昂貴的 GPU 陷入等待資料的空轉狀態。

為突破此瓶頸,高頻寬記憶體(HBM)應運而生。HBM 透過矽穿孔(TSV)技術,將多層 DRAM 晶片像高樓大廈般垂直堆疊,並經由先進封裝(如台積電 CoWoS)與 GPU 直接整合。這種結構提供數倍於傳統 DRAM 的驚人吞吐頻寬,使 HBM 成為頂級 AI 加速卡的標準配備。

HBM架構示意圖(source

2. 儲存層的速度躍升:TLC/QLC 與企業級 SSD

在資料儲存端,NAND Flash 根據單一儲存單元可寫入的位元數,分為 TLC(每單元 3 bits)與 QLC(每單元 4 bits)。TLC 具備較高寫入壽命與速度,而 QLC 則擁有極高的儲存密度與成本優勢。

在 AI 時代,由數十顆 TLC 或 QLC 晶片組成的企業級 SSD(eSSD),正全面取代傳統機械硬碟(HDD)。AI 模型的訓練與推論需要持續讀寫 PB 級別的文字、圖片與影像資料,傳統硬碟的讀取速度已無法跟上整體架構的步調,促使雲端資料中心大規模導入大容量 eSSD,以建構高效能的資料湖倉(Data Lakehouse)。

表一:AI 運算關鍵記憶體技術規格與定位比較

技術名稱 核心物理特性 傳輸介面 / 封裝形態 在 AI 運算中的角色定位 供需市場現況
HBM
(如 HBM3e / HBM4)
3D 垂直堆疊 DRAM,
具備極高頻寬與極低延遲
近晶片先進封裝 (CoWoS) 算力心臟:
直連 GPU,載入模型權重與 KV Cache
極度匱乏:
產能已被全球雲端巨頭全數預訂
標準 DRAM
(如 DDR5)
單平面插槽,容量大、
成本較低、頻寬中等
伺服器主板插槽
(DIMM / RDIMM)
系統樞紐:
處理 CPU 任務與整體系統資料排隊
連帶缺貨:
晶圓產能遭 HBM 排擠,價格持續上揚
TLC 企業級 SSD 1 單元存 3 bits,
讀寫壽命高、性能穩定
NVMe PCIe 5.0 / 6.0 介面 熱資料庫:
用於頻繁讀寫、模型微調與推論快取
供不應求:
伺服器廠商爭相搶購高階配額
QLC 企業級 SSD 1 單元存 4 bits,
超高儲存密度、成本低
高容量 30TB~128TB 專用架構 海量冷/溫資料庫:
存放龐大的 AI 訓練原始數據
產能吃緊:
大容量規格成為雲端業者掃貨重點

雲端、企業地端與邊緣 AI 的需求分流

隨著 AI 部署場景從大型雲端資料中心延伸至企業私有雲及個人終端,記憶體技術的需求也展現出顯著的梯隊分化。

在雲端資料中心(Cloud AI),訴求是「不計成本追求極致效能」。微軟、Google、Meta 等雲端巨頭建置由萬顆 GPU 組成的超級算力池,對頻寬的要求達到 TB/s 級別。雲端場景極度依賴 HBM 晶片與超大容量 eSSD,藉此縮短模型訓練週期,任何傳輸延遲都意味著數百萬美元的算力浪費。

相對地,企業端地端伺服器(Enterprise AI)面臨預算限制與資料隱私考量。企業通常不需要訓練千億參數的基座模型,而是對中小型模型進行微調或建置檢索增強生成(RAG)系統。這類需求難以搶購到頂級 HBM 資源,因而轉向採用高容量 DDR5(如單條 128GB/256GB RDIMM)或 CXL(Compute Express Link)記憶體共享技術,透過大容量記憶體池配合高耐用度 TLC eSSD,在成本與效能間取得最佳平衡。

到了邊緣運算與端側設備(Edge AI),例如 AI PC 與智慧型手機,核心痛點轉變為「功耗與體積」。手機與 PC 的電池容量與散熱空間極其有限,無法承受 HBM 或高功率 DDR5 的耗電量。因此,邊緣設備全面轉向低功耗的 LPDDR5X/LPDDR6 記憶體,並搭配 UFS 4.0 或 BGA 封裝的小型化 SSD。透過 NPU 與低功耗高頻寬記憶體的緊密結合,使設備能在離線狀態下順利執行數十億參數的端側模型。

製圖:AI協作

缺貨風暴背後的結構性真相:晶圓分配與擠壓效應

許多人疑問,既然記憶體價格高漲,原廠為何不直接大幅擴產?這場缺貨危機的背後,實則隱藏著半導體製造的物理限制與經濟學邏輯。

首先,HBM 生產極其消耗晶圓面積。HBM 採用 3D 堆疊與 TSV 矽穿孔製程,生產一顆 HBM 晶片所需消耗的原生晶圓面積,是生產傳統 DDR5 記憶體的 3 到 4 倍,且先進封裝良率提升相對緩慢。當 SK 海力士、三星與美光等記憶體巨頭將大量晶圓產能劃歸生產利潤極高的 HBM 時,全球標準 DDR5 與 LPDDR5 的產能便遭到無情的擠壓。

其次,NAND Flash 的產能轉移與滯後效應。過去兩年,記憶體原廠因市場蕭條而實施大規模減產。當 AI 伺服器對 eSSD 的需求突然爆發時,原廠選擇將有限的 NAND 晶圓優先投產高利潤的大容量企業級晶片,導致消費級 PC 與手機用的 NAND 配額被大幅削減。加上新建一座先進記憶體晶圓廠動輒需要三至五年時間,短時間內根本無法釋放足夠產能。

最後,科技巨頭的包廠鎖單。北美各大雲端巨頭為了確保未來的算力擴建不受阻礙,紛紛以長期合約包下記憶體大廠未來數個季度的 HBM 與 eSSD 產能。這種預先鎖單行為進一步排擠了中小型企業與消費性電子廠商的料源,推升了現貨市場的價格。

半導體產業的新典範轉移

這場由 AI 引發的記憶體缺貨潮,絕非傳統景氣週期中暫時性的供需失調,而是一次半導體產業結構的永久性翻轉。

過去,記憶體被視為追隨 PC 與手機出貨量起伏的大宗商品;如今,記憶體已經轉型為與 GPU 算力深度綁定的戰略物資。隨著 HBM4 等技術世代的推進,記憶體廠商與晶圓代工廠、封測廠之間的界線將變得日益模糊,合作關係也更加緊密。

對於全球科技產業而言,能否獲得足夠且高速的記憶體供應,已成為決定 AI 戰略成敗的命脈。在產能限制短期難解的現實下,記憶體市場的高價與緊缺狀態,恐將成為未來數年半導體產業的新常態。

(責任編輯:歐敏銓)

》延伸閱讀:

MakerPro

訂閱MakerPRO知識充電報

與40000位開發者一同掌握科技創新的技術資訊!

Author: MakerPro

MakerPRO為華人圈最專注於Edge AI開發者社群最新技術趨勢、解決方案評測及產業動態報導的專業媒體,在華文科技媒體領域具有重要的影響力。

Share This Post On

Submit a Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *