「當大廠提出數學理論的上限時,開源達人就能把它落地到你我的硬體上。」這句話在 2026 年 3 月成為了現實。
當 Google Research 釋出 TurboQuant 論文並引發全球記憶體類股劇烈震盪後,卻因「只給論文、不給程式碼」引發社群質疑。然而,獨立開發者 Tom Turney 僅憑一人之力,在 Claude Code 的輔助下,用 7 天時間完成復現與超越,宣告了「超級個體」時代的正式降臨。
一篇論文讓華爾街地震,卻留下一堆問號
2026 年 3 月 24 日,Google Research 在 ICLR 2026 發表了重磅論文 TurboQuant。該研究宣稱透過 PolarQuant 與 Walsh-Hadamard 旋轉技術,能將大型語言模型(LLM)的 KV Cache 壓縮達 6.4 倍,且幾乎零質量損失,注意力計算速度提升達 8 倍。
消息一出,全球硬體市場隨即地震。投資人擔心 AI 對高頻寬記憶體(HBM)的需求將因壓縮技術而崩盤,導致 Micron、Samsung、SK Hynix 等記憶體巨頭股價集體跳水。然而,Google 隨後展現了其一貫的封閉傳統:發布了精美的部落格與學術數據,卻未提供任何可運行的程式碼。
正當業界爭論這是否又是大廠的「行銷煙霧彈」時,前 Google 員工(Xoogler)、現為獨立開發者的 Tom Turney 站了出來。他帶著終端機與 AI 夥伴 Claude,在短短一週內撕開了這條技術裂縫。

source
七天開發日誌:從數學公式到 2747 tok/s 的奇蹟
Tom Turney 的開發過程如同教科書般精準。他利用 Claude Code 深度解析論文中高難度的隨機旋轉與量化邏輯,將抽象的數學符號轉化為實體效能:
-
Day 1-3:核心演算法實作
完成 Python 原型落地,並建立 141 個測試用例,確保 PolarQuant 的 3-bit 壓縮邏輯在數學上與論文一致。
-
Day 3-5:硬體底層移植
將程式碼移植至
llama.cpp架構,並親手撰寫 Metal GPU 內核,正式支援 Apple Silicon 系列晶片。
-
Day 5-7:極致工程優化
透過 block-32 佈局與 half4 向量化運算,將預填(Prefill)速度從初期的 739 tok/s 飆升至 2747 tok/s,純工程優化提速達 3.7 倍。
他在這專案的Github指出,促成其成果的部分原因包括:
-
Sparse V (稀疏化 Value 壓縮):在長上下文推理時,跳過 90% 低關注度的 Value 解壓,使長文本解碼速度提升 22.8%。
-
Asymmetric K/V (非對稱壓縮):採取 Key 高精度、Value 狠壓縮的策略,完美平衡了推理品質與內存佔用。
-
Temporal Decay (時序衰減):讓舊的 Token 自動降低存儲精度,將記憶體利用率推向極致。
超越 Google 的「Plus」創新:開源社群的反向教學
Tom 不僅 100% 還原了 Google 的技術,更在 turboquant_plus 專案中加入了連 Google 論文都未提及的實戰創新,被 AI 創業家 David Hendrickson 譽為「真正的勝利(Real Win)」(下圖)。

效能實測:讓 MacBook 成為超級推理節點
這項技術對本地模型(Local LLM)用戶至關重要。以下是根據 GitHub 實測數據整理的技術對照表:
| 效能指標 | 標準 q8_0 模式 | TurboQuant Plus (turbo3) |
|---|---|---|
| KV Cache 壓縮率 | 1.0x (基準) | 4.6x 壓縮 (內存需求剩 21%) |
| 預填速度 (Qwen2.5-1.5B) | ~1100 tok/s | 1204 tok/s (優於官方基準) |
| 長上下文能力 (M5 Max) | 約 64K 達記憶體上限 | 輕鬆運行 262K 上下文 |
| 困惑度 (PPL) 損失 | 0% (基準) | 僅增加 0.23% (肉眼不可察) |
Solo Dev 時代的定義者
Tom Turney 的成功證明了:在 2026 年,一個具備數學底子的工程師,加上強大的 AI 助手,就能發揮勝過 15 人團隊的協調效率。一直以來,大廠的研究成果只會被封存在自家高牆內,如今透過開源精神與 AI 槓桿,一個人在週末有可能解決科技巨頭留下的謎題,並史無前例地降低了技術突破的門檻。
(責任編輯:歐敏銓)
- 【科技特寫】一人對決巨頭:Tom Turney與AI夥伴如何在7天內攀越Google技術高牆? - 2026/04/07
- AI 機器人如何落實安全性控制 - 2026/04/02
- 簡化AI機器人訓練 Universal Robots與Scale AI推出模仿學習系統 - 2026/04/01
訂閱MakerPRO知識充電報
與40000位開發者一同掌握科技創新的技術資訊!



