NVIDIA讓TensorRT-LLM推論效率增速三倍
最近（2024年12月）NVIDIA新發佈，在TensorRT-LLM中加入了推測性解碼技術，從而讓TensorRT-LLM的推論效率提升三倍。
|
最近（2024年12月）NVIDIA新發佈，在TensorRT-LLM中加入了推測性解碼技術，從而讓TensorRT-LLM的推論效率提升三倍。