能力
模型推理部署
模型推理部署：图谱里有 15 个 AI 工具能做，包括 vLLM、fal、SGLang、LocalAI、MLC LLM。
在自己的 GPU 或服务器上高速、大规模地提供模型推理。
输入 文本 → 输出 文本
这是 https://godooo.ai/zh/capability/model-serving 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。
能做的工具 · 15
| 工具 | 程度 | 价格 | 是否开源 | 使用方式 |
|---|---|---|---|---|
| vLLM框架 | 主打 * | 是 | 可自部署 · API · 可离线本地运行 | |
| fal产品 | 主打 * | 付费 | API · 可自部署 | |
| SGLang框架 | 主打 * | 是 | 可自部署 · API · 可离线本地运行 | |
| LocalAI框架 | 主打 * | 是 | 可自部署 · 可离线本地运行 · API · 命令行 | |
| MLC LLM框架 | 主打 * | 是 | 网页 · 桌面 · 手机 · 命令行 · API · 可自部署 · 可离线本地运行 | |
| TensorRT LLM框架 | 主打 * | 是 | 可自部署 · API · 命令行 | |
| exo框架 | 主打 * | 是 | 可离线本地运行 · 可自部署 · 桌面 · 命令行 · API | |
| Modal产品 | 主打 * | 付费 | API · 命令行 · 可自部署 | |
| LMDeploy框架 | 主打 * | 是 | 可自部署 · 命令行 · API | |
| Hugging Face产品 | 支持 * | 免费版 + 付费升级 | 网页 · API · 可自部署 · 可离线本地运行 | |
| TensorFlow框架 | 支持 * | 是 | API · 可自部署 · 可离线本地运行 · 命令行 | |
| Ollama产品 | 支持 * | 开源免费 | 是 | 桌面 · 命令行 · API · 可自部署 · 可离线本地运行 |
| llama.cpp框架 | 支持 * | 是 | 命令行 · API · 可自部署 · 可离线本地运行 | |
| Replicate产品 | 支持 * | 付费 | API · 网页 | |
| Together AI产品 | 支持 * | 付费 | API · 命令行 · 可自部署 |
* 由机器提出，尚待校准
常见问题
模型推理部署 是什么？
在自己的 GPU 或服务器上高速、大规模地提供模型推理。模型推理部署：图谱里有 15 个 AI 工具能做，包括 vLLM、fal、SGLang、LocalAI、MLC LLM。
哪些工具主打「模型推理部署」？
vLLM、fal、SGLang、LocalAI、MLC LLM、TensorRT LLM、exo、Modal。
有免费的「模型推理部署」工具吗？
vLLM、SGLang、LocalAI、MLC LLM、TensorRT LLM、exo、LMDeploy、TensorFlow。
哪些开源工具能做「模型推理部署」？
vLLM、SGLang、LocalAI、MLC LLM、TensorRT LLM、exo、LMDeploy、TensorFlow。
哪些「模型推理部署」工具能离线运行？
vLLM、SGLang、LocalAI、MLC LLM、exo、Hugging Face、TensorFlow、Ollama。