量化技術 Archives | 第 2 頁，總計 2 頁

12 月12

如何利用低位元量化技術進一步提升大模型推論性能

相比運算量的增加，大模型推論速度更容易受到記憶體頻寬的影響，導致算力資源無法得到充分發揮，進而影響性能；低位元量化技術是讓大語言模型(LLM)在部署過程中實現性能需求的最佳方案之一，本文將探討低位元量化技術如何幫助LLM提升性能，以及新版OpenVINO對於低位元量化技術的支援。

AI推論模型主要透過量化（Quantization）、修剪（Pruning）和聚類（Clustering）三種方式進行最佳化，本文提出一個決策樹，幫助你選擇最適合的量化技術。

雖然我們難以像蟻人或黃蜂女一樣把自己縮小而保持生理機能不變，但把超巨大的AI模型縮小而保持推論精度不變，還是有很多方法可以達到的。接下來我們就來幫大家簡單介紹一下幾種常見技術。