框架
MLC LLM
MLC LLM 是开源 AI 开发框架，2023 年推出，面向开发者。
把大模型原生部署到 GPU、手机和浏览器上的编译器与推理引擎。
主打：本地运行模型、模型推理部署。开源，可以免费使用。使用方式：网页版、桌面应用、手机 App、命令行、API、自部署、本地离线运行。
这是 https://godooo.ai/zh/framework/mlc-llm 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。
速览
能做什么
本地运行模型主打待校准
“enable everyone to develop, optimize, and deploy AI models natively on everyone's platforms”— github.com, 2026-09-24
模型推理部署主打待校准
“MLCEngine -- a unified high-performance LLM inference engine across the above platforms”— github.com, 2026-09-24
大模型 API支持待校准
“MLCEngine provides OpenAI-compatible API available through REST server, python, javascript, iOS, Android”— github.com, 2026-09-24
待校准由机器提出，尚待校准
平替与同类
- llama.cpp开源免费同样能做：本地运行模型、模型推理部署
- LocalAI开源免费同样能做：大模型 API、本地运行模型、模型推理部署
- exo开源免费同样能做：本地运行模型、模型推理部署、大模型 API
- Ollama开源免费同样能做：本地运行模型、大模型 API、模型推理部署
- WebLLM开源免费同样能做：大模型 API、本地运行模型
- LMDeploy开源免费同样能做：大模型 API、模型推理部署
- Gemma开源免费同样能做：本地运行模型、大模型 API
- vLLM开源免费同样能做：模型推理部署、大模型 API
- gpt-oss开源免费同样能做：本地运行模型、大模型 API
- Jan开源免费同样能做：本地运行模型、大模型 API；不用写代码
- LM Studio免费同样能做：本地运行模型、大模型 API；不用写代码
- Phi开源免费同样能做：本地运行模型、大模型 API
关系
- 被用来构建
- WebLLM
常见问题
MLC LLM 是什么？
MLC LLM 是开源 AI 开发框架，2023 年推出，面向开发者。把大模型原生部署到 GPU、手机和浏览器上的编译器与推理引擎。
MLC LLM 免费吗？
免费。MLC LLM 是开源软件（Apache-2.0）。
MLC LLM 开源吗？
开源，许可证是 Apache-2.0。源代码在 https://github.com/mlc-ai/mlc-llm。
MLC LLM 能本地运行吗？
能，可以在自己的电脑上离线运行。也可以部署在自己的服务器上。
MLC LLM 能做什么？
主打：本地运行模型、模型推理部署。也能做：大模型 API。
MLC LLM 有哪些开源替代品？
开源的有：llama.cpp、LocalAI、exo、Ollama、WebLLM、LMDeploy、Gemma、vLLM。其他：LM Studio。
来源
- github.com/mlc-ai/mlc-llm核实于 2026-09-24
- llm.mlc.ai