# TensorRT LLM

框架 · https://godooo.ai/zh/framework/tensorrt-llm

> TensorRT LLM 是 NVIDIA 出品的开源 AI 开发框架，2023 年推出，面向开发者、企业。

在 NVIDIA GPU 上优化并部署大模型推理的库。

主打：模型推理部署。开源，可以免费使用。使用方式：自部署、API、命令行。

## 速览

- **类别:** [框架](https://godooo.ai/zh/browse#framework)
- **出品方:** [NVIDIA](https://godooo.ai/zh/org/nvidia)
- **推出于:** 2023
- **所属星系:** [模型与 API](https://godooo.ai/zh/galaxy/builders)
- **是否开源:** 是
- **源代码:** [github.com/NVIDIA/TensorRT-LLM](https://github.com/NVIDIA/TensorRT-LLM)
- **GitHub 星标:** 14,709
- **使用方式:** 可自部署 · API · 命令行
- **适合谁:** 开发者 · 企业
- **官网:** [nvidia.github.io](https://nvidia.github.io/TensorRT-LLM)
- **别名:** TensorRT-LLM

## 能做什么

- **[模型推理部署](https://godooo.ai/zh/capability/model-serving)** — 主打, _由机器提出，尚待校准_. “TensorRT LLM optimizes inference for LLMs and Visual Gen models with specialized kernels for common operations, an efficient runtime, and a pythonic framework” (摘自 [github.com](https://github.com/NVIDIA/TensorRT-LLM)，2026-09-24)
- **[大模型 API](https://godooo.ai/zh/capability/llm-api)** — 支持, _由机器提出，尚待校准_. “LLM API Introduction API Reference LLM AsyncLLM” (摘自 [nvidia.github.io](https://nvidia.github.io/TensorRT-LLM/)，2026-09-24)

## 平替与同类

- **[vLLM](https://godooo.ai/zh/framework/vllm)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[SGLang](https://godooo.ai/zh/framework/sglang)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[LocalAI](https://godooo.ai/zh/framework/localai)** (开源免费): 同样能做：大模型 API、模型推理部署；可离线本地运行
- **[LMDeploy](https://godooo.ai/zh/framework/lmdeploy)** (开源免费): 同样能做：大模型 API、模型推理部署
- **[exo](https://godooo.ai/zh/framework/exo)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[MLC LLM](https://godooo.ai/zh/framework/mlc-llm)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[fal](https://godooo.ai/zh/product/fal)** (付费): 同样能做：模型推理部署
- **[Replicate](https://godooo.ai/zh/product/replicate)** (付费): 同样能做：大模型 API、模型推理部署
- **[Together AI](https://godooo.ai/zh/product/together)** (付费): 同样能做：大模型 API、模型推理部署
- **[Modal](https://godooo.ai/zh/product/modal)** (付费): 同样能做：模型推理部署
- **[Hugging Face](https://godooo.ai/zh/product/huggingface)** (免费版 + 付费升级): 同样能做：大模型 API、模型推理部署；可离线本地运行
- **[Ollama](https://godooo.ai/zh/product/ollama)** (开源免费): 同样能做：大模型 API、模型推理部署；可离线本地运行

## 关系

- **基于…构建:** [CUDA](https://godooo.ai/zh/framework/cuda)

## 常见问题

### TensorRT LLM 是什么？

TensorRT LLM 是 NVIDIA 出品的开源 AI 开发框架，2023 年推出，面向开发者、企业。在 NVIDIA GPU 上优化并部署大模型推理的库。

### TensorRT LLM 免费吗？

免费。TensorRT LLM 是开源软件。

### TensorRT LLM 开源吗？

开源。源代码在 https://github.com/NVIDIA/TensorRT-LLM。

### TensorRT LLM 能本地运行吗？

可以部署在自己的服务器上。

### TensorRT LLM 能做什么？

主打：模型推理部署。也能做：大模型 API。

### TensorRT LLM 是谁开发的？

由 NVIDIA 开发。

### TensorRT LLM 有哪些开源替代品？

开源的有：vLLM、SGLang、LocalAI、LMDeploy、exo、MLC LLM、Ollama。其他：fal、Replicate、Together AI、Modal、Hugging Face。

## 来源

- [github.com](https://github.com/NVIDIA/TensorRT-LLM) — 核实于 2026-09-24
- [nvidia.github.io](https://nvidia.github.io/TensorRT-LLM/) — 核实于 2026-09-24

---

最后更新 2026-09-24 · 来源核实于 2026-09-24 · 这是 https://godooo.ai/zh/framework/tensorrt-llm 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。