框架
TensorRT LLM
TensorRT LLM 是 NVIDIA 出品的开源 AI 开发框架，2023 年推出，面向开发者、企业。
在 NVIDIA GPU 上优化并部署大模型推理的库。
主打：模型推理部署。开源，可以免费使用。使用方式：自部署、API、命令行。
这是 https://godooo.ai/zh/framework/tensorrt-llm 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。
速览
能做什么
模型推理部署主打待校准
“TensorRT LLM optimizes inference for LLMs and Visual Gen models with specialized kernels for common operations, an efficient runtime, and a pythonic framework”— github.com, 2026-09-24
大模型 API支持待校准
“LLM API Introduction API Reference LLM AsyncLLM”— nvidia.github.io, 2026-09-24
待校准由机器提出，尚待校准
平替与同类
- vLLM开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- SGLang开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- LocalAI开源免费同样能做：大模型 API、模型推理部署；可离线本地运行
- LMDeploy开源免费同样能做：大模型 API、模型推理部署
- exo开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- MLC LLM开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- fal付费同样能做：模型推理部署
- Replicate付费同样能做：大模型 API、模型推理部署
- Together AI付费同样能做：大模型 API、模型推理部署
- Modal付费同样能做：模型推理部署
- Hugging Face免费版 + 付费升级同样能做：大模型 API、模型推理部署；可离线本地运行
- Ollama开源免费同样能做：大模型 API、模型推理部署；可离线本地运行
关系
- 基于…构建
- CUDA
常见问题
TensorRT LLM 是什么？
TensorRT LLM 是 NVIDIA 出品的开源 AI 开发框架，2023 年推出，面向开发者、企业。在 NVIDIA GPU 上优化并部署大模型推理的库。
TensorRT LLM 免费吗？
免费。TensorRT LLM 是开源软件。
TensorRT LLM 开源吗？
开源。源代码在 https://github.com/NVIDIA/TensorRT-LLM。
TensorRT LLM 能本地运行吗？
可以部署在自己的服务器上。
TensorRT LLM 能做什么？
主打：模型推理部署。也能做：大模型 API。
TensorRT LLM 是谁开发的？
由 NVIDIA 开发。
TensorRT LLM 有哪些开源替代品？
开源的有：vLLM、SGLang、LocalAI、LMDeploy、exo、MLC LLM、Ollama。其他：fal、Replicate、Together AI、Modal、Hugging Face。
来源
- github.com/NVIDIA/TensorRT-LLM核实于 2026-09-24
- nvidia.github.io/TensorRT-LLM/核实于 2026-09-24