# MLC LLM

框架 · https://godooo.ai/zh/framework/mlc-llm

> MLC LLM 是开源 AI 开发框架，2023 年推出，面向开发者。

把大模型原生部署到 GPU、手机和浏览器上的编译器与推理引擎。

主打：本地运行模型、模型推理部署。开源，可以免费使用。使用方式：网页版、桌面应用、手机 App、命令行、API、自部署、本地离线运行。

## 速览

- **类别:** [框架](https://godooo.ai/zh/browse#framework)
- **推出于:** 2023
- **所属星系:** [模型与 API](https://godooo.ai/zh/galaxy/builders)
- **是否开源:** 是 · Apache-2.0
- **源代码:** [github.com/mlc-ai/mlc-llm](https://github.com/mlc-ai/mlc-llm)
- **GitHub 星标:** 23,185
- **使用方式:** 网页 · 桌面 · 手机 · 命令行 · API · 可自部署 · 可离线本地运行
- **适合谁:** 开发者
- **支持的协议:** [OpenAI-compatible API](https://godooo.ai/zh/protocol/openai-compatible-api)
- **官网:** [llm.mlc.ai](https://llm.mlc.ai)
- **别名:** MLCEngine

## 能做什么

- **[本地运行模型](https://godooo.ai/zh/capability/local-inference)** — 主打, _由机器提出，尚待校准_. “enable everyone to develop, optimize, and deploy AI models natively on everyone's platforms” (摘自 [github.com](https://github.com/mlc-ai/mlc-llm)，2026-09-24)
- **[模型推理部署](https://godooo.ai/zh/capability/model-serving)** — 主打, _由机器提出，尚待校准_. “MLCEngine -- a unified high-performance LLM inference engine across the above platforms” (摘自 [github.com](https://github.com/mlc-ai/mlc-llm)，2026-09-24)
- **[大模型 API](https://godooo.ai/zh/capability/llm-api)** — 支持, _由机器提出，尚待校准_. “MLCEngine provides OpenAI-compatible API available through REST server, python, javascript, iOS, Android” (摘自 [github.com](https://github.com/mlc-ai/mlc-llm)，2026-09-24)

## 平替与同类

- **[llama.cpp](https://godooo.ai/zh/framework/llama-cpp)** (开源免费): 同样能做：本地运行模型、模型推理部署
- **[LocalAI](https://godooo.ai/zh/framework/localai)** (开源免费): 同样能做：大模型 API、本地运行模型、模型推理部署
- **[exo](https://godooo.ai/zh/framework/exo)** (开源免费): 同样能做：本地运行模型、模型推理部署、大模型 API
- **[Ollama](https://godooo.ai/zh/product/ollama)** (开源免费): 同样能做：本地运行模型、大模型 API、模型推理部署
- **[WebLLM](https://godooo.ai/zh/framework/webllm)** (开源免费): 同样能做：大模型 API、本地运行模型
- **[LMDeploy](https://godooo.ai/zh/framework/lmdeploy)** (开源免费): 同样能做：大模型 API、模型推理部署
- **[Gemma](https://godooo.ai/zh/model/gemma)** (开源免费): 同样能做：本地运行模型、大模型 API
- **[vLLM](https://godooo.ai/zh/framework/vllm)** (开源免费): 同样能做：模型推理部署、大模型 API
- **[gpt-oss](https://godooo.ai/zh/model/gpt-oss)** (开源免费): 同样能做：本地运行模型、大模型 API
- **[Jan](https://godooo.ai/zh/product/jan)** (开源免费): 同样能做：本地运行模型、大模型 API；不用写代码
- **[LM Studio](https://godooo.ai/zh/product/lm-studio)** (免费): 同样能做：本地运行模型、大模型 API；不用写代码
- **[Phi](https://godooo.ai/zh/model/phi)** (开源免费): 同样能做：本地运行模型、大模型 API

## 关系

- **被用来构建:** [WebLLM](https://godooo.ai/zh/framework/webllm)

## 常见问题

### MLC LLM 是什么？

MLC LLM 是开源 AI 开发框架，2023 年推出，面向开发者。把大模型原生部署到 GPU、手机和浏览器上的编译器与推理引擎。

### MLC LLM 免费吗？

免费。MLC LLM 是开源软件（Apache-2.0）。

### MLC LLM 开源吗？

开源，许可证是 Apache-2.0。源代码在 https://github.com/mlc-ai/mlc-llm。

### MLC LLM 能本地运行吗？

能，可以在自己的电脑上离线运行。也可以部署在自己的服务器上。

### MLC LLM 能做什么？

主打：本地运行模型、模型推理部署。也能做：大模型 API。

### MLC LLM 有哪些开源替代品？

开源的有：llama.cpp、LocalAI、exo、Ollama、WebLLM、LMDeploy、Gemma、vLLM。其他：LM Studio。

## 来源

- [github.com](https://github.com/mlc-ai/mlc-llm) — 核实于 2026-09-24
- [llm.mlc.ai](https://llm.mlc.ai)

---

最后更新 2026-09-24 · 来源核实于 2026-09-24 · 这是 https://godooo.ai/zh/framework/mlc-llm 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。