# 评测与观测

能力 · https://godooo.ai/zh/capability/llm-evaluation

> 评测与观测：图谱里有 6 个 AI 工具能做，包括 Langfuse、promptfoo、Phoenix、Ragas、DeepEval。

追踪大模型应用的每一步，用测试集给回答打分。

- **输入:** 文本, 结构化数据
- **输出:** 结构化数据

## 能做的工具

| 工具 | 类别 | 程度 | 价格 | 是否开源 | 使用方式 |
| --- | --- | --- | --- | --- | --- |
| [Langfuse](https://godooo.ai/zh/product/langfuse) | 产品 | 主打* | 开源免费 | 是 | 网页, 可自部署, API |
| [promptfoo](https://godooo.ai/zh/cli/promptfoo) | 命令行工具 | 主打* | 开源免费 | 是 | 命令行, 可离线本地运行, 可自部署 |
| [Phoenix](https://godooo.ai/zh/framework/phoenix) | 框架 | 主打* |  | 是 | 可自部署, 可离线本地运行, API, 命令行 |
| [Ragas](https://godooo.ai/zh/framework/ragas) | 框架 | 主打* |  | 是 | 可离线本地运行, 可自部署 |
| [DeepEval](https://godooo.ai/zh/framework/deepeval) | 框架 | 主打* |  | 是 | 可自部署, 命令行, API |
| [Pydantic AI](https://godooo.ai/zh/framework/pydantic-ai) | 框架 | 支持* |  | 是 | 命令行, API, 可自部署, 可离线本地运行 |

\* 由机器提出，尚待校准

## 相关

- **用于:** [开发一个 AI 智能体](https://godooo.ai/zh/goal/build-ai-agent), [微调一个模型](https://godooo.ai/zh/goal/fine-tune-model)

## 常见问题

### 评测与观测 是什么？

追踪大模型应用的每一步，用测试集给回答打分。评测与观测：图谱里有 6 个 AI 工具能做，包括 Langfuse、promptfoo、Phoenix、Ragas、DeepEval。

### 哪些工具主打「评测与观测」？

Langfuse、promptfoo、Phoenix、Ragas、DeepEval。

### 有免费的「评测与观测」工具吗？

Langfuse、promptfoo、Phoenix、Ragas、DeepEval、Pydantic AI。

### 哪些开源工具能做「评测与观测」？

Langfuse、promptfoo、Phoenix、Ragas、DeepEval、Pydantic AI。

### 哪些「评测与观测」工具能离线运行？

promptfoo、Phoenix、Ragas、Pydantic AI。

---

最后更新 2026-09-24 · 这是 https://godooo.ai/zh/capability/llm-evaluation 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。