promptfoo

promptfoo 是什么？

promptfoo（https://www.promptfoo.dev/）是一个面向 LLM 应用评测与红队测试的平台与开源项目（https://github.com/promptfoo/promptfoo）。它将提示词评测、模型对比、对抗测试与安全评估整合到统一工具链中，帮助团队更系统地验证 AI 应用的可靠性与安全性。

除了开源 CLI，promptfoo 也提供平台能力，覆盖评测、Guardrails、模型安全、MCP 代理与代码扫描等模块，适合需要持续评估与治理的团队。

promptfoo 的核心功能或服务

1. LLM 评测与对比：通过统一配置评测不同模型、提示词与版本效果。
2. 红队测试与对抗评估：针对提示注入、越狱等风险进行安全测试。
3. Guardrails 与模型安全：为模型输出设置规则与限制，降低安全风险。
4. 自动化报告与可视化：输出评测结果与趋势变化，便于团队协作。
5. CLI 与平台结合：本地 CLI 适合开发流程，平台适合持续化管理。

promptfoo 的适用场景

1. 提示词与模型对比：需要快速对比多模型与多提示词效果的团队。
2. AI 应用上线前安全测试：对越狱、提示注入等进行系统性评估。
3. 质量回归与持续评测：对版本迭代进行回归测试与指标跟踪。
4. 企业级 AI 治理：需要建立统一评测与安全体系的团队。

如何使用 promptfoo

1. 访问官网了解能力：进入官网（https://www.promptfoo.dev/）了解平台与模块。
2. 安装 CLI：通过 npm 或其他包管理器安装 promptfoo。
3. 配置评测：编写评测配置文件并运行评测任务。
4. 查看结果与报告：在本地或平台查看报告与趋势分析。

promptfoo 的价格

1. 开源 CLI 免费：核心 CLI 工具开源可用。
2. 平台能力按官方说明计费：企业级功能与服务以官网最新价格为准。
3. 建议结合规模评估：对团队协作与安全治理需求较高的组织可评估平台方案。

promptfoo 常见问题

1. promptfoo 适合谁使用？

适合需要评测、对比与红队测试 LLM 应用的研发团队。

2. 是否只能用于提示词评测？

不仅限于提示词，也可用于模型对比、对抗测试与安全评估。

3. 是否需要平台才能使用？

不需要。CLI 即可完成评测，平台用于团队协作与持续化管理。

4. 能否纳入 CI/CD？

可以，评测流程可与 CI/CD 集成，实现自动化质量回归。

5. 是否有企业级支持？

平台提供企业级能力，具体支持方式以官网说明为准。