# 本地运行模型

能力 · https://godooo.ai/zh/capability/local-inference

> 本地运行模型：图谱里有 41 个 AI 工具能做，包括 Ollama、Gemma、llama.cpp、LM Studio、gpt-oss。

下载开源模型，在自己电脑上离线、私密地运行。

- **输入:** 文本
- **输出:** 文本

## 能做的工具

| 工具 | 类别 | 程度 | 价格 | 是否开源 | 使用方式 |
| --- | --- | --- | --- | --- | --- |
| [Ollama](https://godooo.ai/zh/product/ollama) | 产品 | 主打* | 开源免费 | 是 | 桌面, 命令行, API, 可自部署, 可离线本地运行 |
| [Gemma](https://godooo.ai/zh/model/gemma) | 模型 | 主打* |  | 是 | 网页, API, 可离线本地运行, 可自部署 |
| [llama.cpp](https://godooo.ai/zh/framework/llama-cpp) | 框架 | 主打* |  | 是 | 命令行, API, 可自部署, 可离线本地运行 |
| [LM Studio](https://godooo.ai/zh/product/lm-studio) | 产品 | 主打* | 免费 |  | 桌面, 可离线本地运行, API, 命令行 |
| [gpt-oss](https://godooo.ai/zh/model/gpt-oss) | 模型 | 主打* |  | 是 | API, 可自部署, 可离线本地运行, 命令行 |
| [Phi](https://godooo.ai/zh/model/phi) | 模型 | 主打* |  | 是 | API, 可离线本地运行, 可自部署 |
| [MLX](https://godooo.ai/zh/framework/mlx) | 框架 | 主打* |  | 是 | 可离线本地运行, API, 命令行, 可自部署 |
| [Jan](https://godooo.ai/zh/product/jan) | 产品 | 主打* | 开源免费 | 是 | 桌面, 可离线本地运行, API, 可自部署 |
| [LocalAI](https://godooo.ai/zh/framework/localai) | 框架 | 主打* |  | 是 | 可自部署, 可离线本地运行, API, 命令行 |
| [TextGen](https://godooo.ai/zh/product/textgen) | 产品 | 主打* | 开源免费 | 是 | 桌面, 网页, 可自部署, 可离线本地运行, API |
| [MLC LLM](https://godooo.ai/zh/framework/mlc-llm) | 框架 | 主打* |  | 是 | 网页, 桌面, 手机, 命令行, API, 可自部署, 可离线本地运行 |
| [WebLLM](https://godooo.ai/zh/framework/webllm) | 框架 | 主打* |  | 是 | 网页, 可离线本地运行 |
| [exo](https://godooo.ai/zh/framework/exo) | 框架 | 主打* |  | 是 | 可离线本地运行, 可自部署, 桌面, 命令行, API |
| [llamafile](https://godooo.ai/zh/framework/llamafile) | 框架 | 主打* |  | 是 | 可离线本地运行, 命令行, API, 可自部署 |
| [Apple Foundation Models](https://godooo.ai/zh/model/apple-foundation-models) | 模型 | 主打* |  |  | API, 可离线本地运行 |
| [Llama](https://godooo.ai/zh/model/llama) | 模型 | 支持 |  | 是 | API, 可离线本地运行, 可自部署 |
| [DeepSeek-R1](https://godooo.ai/zh/model/deepseek-r1) | 模型 | 支持* |  | 是 | 网页, API, 可自部署, 可离线本地运行 |
| [Transformers](https://godooo.ai/zh/framework/transformers) | 框架 | 支持* |  | 是 | 可离线本地运行, 可自部署, 命令行, API |
| [Stable Diffusion](https://godooo.ai/zh/model/stable-diffusion) | 模型 | 支持* |  | 是 | 可自部署, 可离线本地运行, API, 命令行 |
| [ComfyUI](https://godooo.ai/zh/product/comfyui) | 产品 | 支持 | 开源免费 | 是 | 桌面, 网页, API, 可自部署, 可离线本地运行, 命令行 |
| [GPT-2](https://godooo.ai/zh/model/gpt-2) | 模型 | 支持* |  | 是 | 可自部署, 可离线本地运行, API |
| [Whisper](https://godooo.ai/zh/model/whisper) | 模型 | 支持* |  | 是 | 命令行, API, 可自部署, 可离线本地运行 |
| [Qwen](https://godooo.ai/zh/model/qwen) | 模型 | 支持 |  | 是 | 网页, API, 可自部署, 可离线本地运行 |
| [DeepSeek-V3](https://godooo.ai/zh/model/deepseek-v3) | 模型 | 支持* |  | 是 | API, 可离线本地运行, 可自部署 |
| [Mistral](https://godooo.ai/zh/model/mistral) | 模型 | 支持 |  | 是 | API, 可自部署, 可离线本地运行 |
| [Open WebUI](https://godooo.ai/zh/product/open-webui) | 产品 | 支持* | 开源免费 | 是 | 网页, 可自部署, 可离线本地运行, API |
| [DeepSeek-V2](https://godooo.ai/zh/model/deepseek-v2) | 模型 | 支持* |  | 是 | API, 网页, 可离线本地运行, 可自部署 |
| [GLM](https://godooo.ai/zh/model/glm) | 模型 | 支持* |  | 是 | API, 可离线本地运行, 可自部署 |
| [Mixtral](https://godooo.ai/zh/model/mixtral) | 模型 | 支持* |  | 是 | API, 可离线本地运行, 可自部署 |
| [OLMo](https://godooo.ai/zh/model/olmo) | 模型 | 支持* |  | 是 | 网页, API, 可离线本地运行, 可自部署 |
| [GPT-J](https://godooo.ai/zh/model/gpt-j) | 模型 | 支持* |  | 是 | 可离线本地运行, API, 可自部署 |
| [LLM](https://godooo.ai/zh/cli/llm) | 命令行工具 | 支持* |  | 是 | 命令行, API, 可离线本地运行, 可自部署 |
| [AnythingLLM](https://godooo.ai/zh/product/anythingllm) | 产品 | 支持* | 开源免费 | 是 | 网页, 桌面, 可自部署, API, 可离线本地运行 |
| [Chatbox](https://godooo.ai/zh/product/chatbox) | 产品 | 支持* | 开源免费 | 是 | 桌面, 网页, 手机, 可离线本地运行 |
| [Cherry Studio](https://godooo.ai/zh/product/cherry-studio) | 产品 | 支持* | 开源免费 | 是 | 桌面, 可离线本地运行, 可自部署 |
| [Langchain-Chatchat](https://godooo.ai/zh/product/langchain-chatchat) | 产品 | 支持* | 开源免费 | 是 | 可自部署, 可离线本地运行, API |
| [whisper.cpp](https://godooo.ai/zh/framework/whisper-cpp) | 框架 | 支持* |  | 是 | 可离线本地运行, 可自部署, 命令行, API |
| [Unsloth](https://godooo.ai/zh/framework/unsloth) | 框架 | 支持* |  | 是 | 可离线本地运行, 桌面, 命令行, API, 可自部署 |
| [Yi](https://godooo.ai/zh/model/yi) | 模型 | 支持* |  | 是 | API, 可自部署, 可离线本地运行, 命令行 |
| [Falcon](https://godooo.ai/zh/model/falcon) | 模型 | 支持* |  | 是 | API, 可自部署, 可离线本地运行 |
| [Kimi K2](https://godooo.ai/zh/model/kimi-k2) | 模型 | 凑合能用* |  | 是 | API, 可自部署, 可离线本地运行 |

\* 由机器提出，尚待校准

## 相关

- **用于:** [在本地运行大模型](https://godooo.ai/zh/goal/run-llm-locally)
- **现成的配方:** [在笔记本上私密运行 AI](https://godooo.ai/zh/recipe/local-ai)

## 常见问题

### 本地运行模型 是什么？

下载开源模型，在自己电脑上离线、私密地运行。本地运行模型：图谱里有 41 个 AI 工具能做，包括 Ollama、Gemma、llama.cpp、LM Studio、gpt-oss。

### 哪些工具主打「本地运行模型」？

Ollama、Gemma、llama.cpp、LM Studio、gpt-oss、Phi、MLX、Jan。

### 有免费的「本地运行模型」工具吗？

Ollama、Gemma、llama.cpp、LM Studio、gpt-oss、Phi、MLX、Jan。

### 哪些开源工具能做「本地运行模型」？

Ollama、Gemma、llama.cpp、gpt-oss、Phi、MLX、Jan、LocalAI。

### 哪些「本地运行模型」工具能离线运行？

Ollama、Gemma、llama.cpp、LM Studio、gpt-oss、Phi、MLX、Jan。

---

最后更新 2026-09-24 · 这是 https://godooo.ai/zh/capability/local-inference 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。