框架

LocalAI

LocalAI 是开源 AI 开发框架，2023 年推出，面向开发者、企业。

自托管的推理引擎，用兼容 OpenAI 的 API 提供大模型、语音、图像和视频模型。

主打：大模型 API、本地运行模型、模型推理部署。开源，可以免费使用。使用方式：自部署、本地离线运行、API、命令行。

速览

大模型 API主打待校准
“Drop-in API compatibility : OpenAI, Anthropic, and ElevenLabs APIs across every backend”— github.com, 2026-09-24
本地运行模型主打待校准
“Run any model, LLMs, vision, voice, image and video, on any hardware. No GPU required.”— localai.io, 2026-09-24
模型推理部署主打待校准
“One binary with an OpenAI-compatible API in front of it.”— localai.io, 2026-09-24
向量嵌入支持待校准
“Embeddings generation”— github.com, 2026-09-24
图像理解支持待校准
“See things Ask for "the red mug on the left" in plain language and get back coordinates, not a caption.”— localai.io, 2026-09-24
文生图支持待校准
“Create Images, video, music and sound diffusers · ace-step”— localai.io, 2026-09-24
语音合成支持待校准
“Speak Speech synthesis and voice cloning moss-tts · piper”— localai.io, 2026-09-24
语音转写支持待校准
“Hear words Live transcription with speaker labels and timestamps, fast enough to keep up with a meeting while it is still happening.”— localai.io, 2026-09-24

待校准由机器提出，尚待校准

LocalAI 是开源 AI 开发框架，2023 年推出，面向开发者、企业。自托管的推理引擎，用兼容 OpenAI 的 API 提供大模型、语音、图像和视频模型。

免费。LocalAI 是开源软件（MIT）。

开源，许可证是 MIT。源代码在 https://github.com/mudler/LocalAI。

能，可以在自己的电脑上离线运行。也可以部署在自己的服务器上。

主打：大模型 API、本地运行模型、模型推理部署。也能做：向量嵌入、图像理解、文生图、语音合成、语音转写。

开源的有：Ollama、exo、MLC LLM、Mistral、WebLLM、LMDeploy、Qwen、LLM。其他：Replicate、Gemini、GPT。