框架
LMDeploy
LMDeploy 是开源 AI 开发框架，2023 年推出，面向开发者。
压缩、部署和服务大模型的工具包，自带高性能推理引擎。
主打：大模型 API、模型推理部署。开源，可以免费使用。使用方式：自部署、命令行、API。
这是 https://godooo.ai/zh/framework/lmdeploy 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。
速览
能做什么
大模型 API主打待校准
“OpenAI Compatible Server”— lmdeploy.readthedocs.io, 2026-09-24
模型推理部署主打待校准
“LMDeploy is a toolkit for compressing, deploying, and serving LLM”— lmdeploy.readthedocs.io, 2026-09-24
待校准由机器提出，尚待校准
平替与同类
- vLLM开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- LocalAI开源免费同样能做：大模型 API、模型推理部署；可离线本地运行
- exo开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- MLC LLM开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- Replicate付费同样能做：大模型 API、模型推理部署
- SGLang开源免费同样能做：模型推理部署、大模型 API；可离线本地运行
- TensorRT LLM开源免费同样能做：模型推理部署、大模型 API
- Together AI付费同样能做：大模型 API、模型推理部署
- Claude同样能做：大模型 API；不用写代码
- Gemini同样能做：大模型 API；不用写代码
- GPT同样能做：大模型 API；不用写代码
- GPT-3同样能做：大模型 API
关系
- 应用了
- Quantization
常见问题
LMDeploy 是什么？
LMDeploy 是开源 AI 开发框架，2023 年推出，面向开发者。压缩、部署和服务大模型的工具包，自带高性能推理引擎。
LMDeploy 免费吗？
免费。LMDeploy 是开源软件（Apache-2.0）。
LMDeploy 开源吗？
开源，许可证是 Apache-2.0。源代码在 https://github.com/InternLM/lmdeploy。
LMDeploy 能本地运行吗？
可以部署在自己的服务器上。
LMDeploy 能做什么？
主打：大模型 API、模型推理部署。
LMDeploy 有哪些开源替代品？
开源的有：vLLM、LocalAI、exo、MLC LLM、SGLang、TensorRT LLM。其他：Replicate、Together AI、Claude、Gemini、GPT、GPT-3。