# LMDeploy

框架 · https://godooo.ai/zh/framework/lmdeploy

> LMDeploy 是开源 AI 开发框架，2023 年推出，面向开发者。

压缩、部署和服务大模型的工具包，自带高性能推理引擎。

主打：大模型 API、模型推理部署。开源，可以免费使用。使用方式：自部署、命令行、API。

## 速览

- **类别:** [框架](https://godooo.ai/zh/browse#framework)
- **推出于:** 2023
- **所属星系:** [模型与 API](https://godooo.ai/zh/galaxy/builders)
- **是否开源:** 是 · Apache-2.0
- **源代码:** [github.com/InternLM/lmdeploy](https://github.com/InternLM/lmdeploy)
- **GitHub 星标:** 8,097
- **使用方式:** 可自部署 · 命令行 · API
- **适合谁:** 开发者
- **官网:** [lmdeploy.readthedocs.io](https://lmdeploy.readthedocs.io/en/latest)

## 能做什么

- **[大模型 API](https://godooo.ai/zh/capability/llm-api)** — 主打, _由机器提出，尚待校准_. “OpenAI Compatible Server” (摘自 [lmdeploy.readthedocs.io](https://lmdeploy.readthedocs.io/en/latest/)，2026-09-24)
- **[模型推理部署](https://godooo.ai/zh/capability/model-serving)** — 主打, _由机器提出，尚待校准_. “LMDeploy is a toolkit for compressing, deploying, and serving LLM” (摘自 [lmdeploy.readthedocs.io](https://lmdeploy.readthedocs.io/en/latest/)，2026-09-24)

## 平替与同类

- **[vLLM](https://godooo.ai/zh/framework/vllm)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[LocalAI](https://godooo.ai/zh/framework/localai)** (开源免费): 同样能做：大模型 API、模型推理部署；可离线本地运行
- **[exo](https://godooo.ai/zh/framework/exo)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[MLC LLM](https://godooo.ai/zh/framework/mlc-llm)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[Replicate](https://godooo.ai/zh/product/replicate)** (付费): 同样能做：大模型 API、模型推理部署
- **[SGLang](https://godooo.ai/zh/framework/sglang)** (开源免费): 同样能做：模型推理部署、大模型 API；可离线本地运行
- **[TensorRT LLM](https://godooo.ai/zh/framework/tensorrt-llm)** (开源免费): 同样能做：模型推理部署、大模型 API
- **[Together AI](https://godooo.ai/zh/product/together)** (付费): 同样能做：大模型 API、模型推理部署
- **[Claude](https://godooo.ai/zh/model/claude)**: 同样能做：大模型 API；不用写代码
- **[Gemini](https://godooo.ai/zh/model/gemini)**: 同样能做：大模型 API；不用写代码
- **[GPT](https://godooo.ai/zh/model/gpt)**: 同样能做：大模型 API；不用写代码
- **[GPT-3](https://godooo.ai/zh/model/gpt-3)**: 同样能做：大模型 API

## 关系

- **应用了:** [Quantization](https://godooo.ai/zh/concept/quantization)

## 常见问题

### LMDeploy 是什么？

LMDeploy 是开源 AI 开发框架，2023 年推出，面向开发者。压缩、部署和服务大模型的工具包，自带高性能推理引擎。

### LMDeploy 免费吗？

免费。LMDeploy 是开源软件（Apache-2.0）。

### LMDeploy 开源吗？

开源，许可证是 Apache-2.0。源代码在 https://github.com/InternLM/lmdeploy。

### LMDeploy 能本地运行吗？

可以部署在自己的服务器上。

### LMDeploy 能做什么？

主打：大模型 API、模型推理部署。

### LMDeploy 有哪些开源替代品？

开源的有：vLLM、LocalAI、exo、MLC LLM、SGLang、TensorRT LLM。其他：Replicate、Together AI、Claude、Gemini、GPT、GPT-3。

## 来源

- [lmdeploy.readthedocs.io](https://lmdeploy.readthedocs.io/en/latest/) — 核实于 2026-09-24
- [github.com](https://github.com/InternLM/lmdeploy)

---

最后更新 2026-09-24 · 来源核实于 2026-09-24 · 这是 https://godooo.ai/zh/framework/lmdeploy 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。