能力
评测与观测
评测与观测：图谱里有 6 个 AI 工具能做，包括 Langfuse、promptfoo、Phoenix、Ragas、DeepEval。
追踪大模型应用的每一步，用测试集给回答打分。
输入 文本 · 结构化数据 → 输出 结构化数据
这是 https://godooo.ai/zh/capability/llm-evaluation 的 Markdown 版本。本站每个页面都有：在地址后面加 .md。
能做的工具 · 6
| 工具 | 程度 | 价格 | 是否开源 | 使用方式 |
|---|---|---|---|---|
| Langfuse产品 | 主打 * | 开源免费 | 是 | 网页 · 可自部署 · API |
| promptfoo命令行工具 | 主打 * | 开源免费 | 是 | 命令行 · 可离线本地运行 · 可自部署 |
| Phoenix框架 | 主打 * | 是 | 可自部署 · 可离线本地运行 · API · 命令行 | |
| Ragas框架 | 主打 * | 是 | 可离线本地运行 · 可自部署 | |
| DeepEval框架 | 主打 * | 是 | 可自部署 · 命令行 · API | |
| Pydantic AI框架 | 支持 * | 是 | 命令行 · API · 可自部署 · 可离线本地运行 |
* 由机器提出，尚待校准
常见问题
评测与观测 是什么？
追踪大模型应用的每一步，用测试集给回答打分。评测与观测：图谱里有 6 个 AI 工具能做，包括 Langfuse、promptfoo、Phoenix、Ragas、DeepEval。
哪些工具主打「评测与观测」？
Langfuse、promptfoo、Phoenix、Ragas、DeepEval。
有免费的「评测与观测」工具吗？
Langfuse、promptfoo、Phoenix、Ragas、DeepEval、Pydantic AI。
哪些开源工具能做「评测与观测」？
Langfuse、promptfoo、Phoenix、Ragas、DeepEval、Pydantic AI。
哪些「评测与观测」工具能离线运行？
promptfoo、Phoenix、Ragas、Pydantic AI。