Appearance
Everything Claude Code Agent Eval Skill 是一款专为 AI 编程助手（如 Claude Code、Aider、Codex 等）横向对比设计的评测工具。它通过 YAML 任务定义、自动化隔离执行和多维度指标采集，实现了 pass rate、API 成本、耗时和一致性等关键数据的可复现对比。无论是团队选型、模型升级回归，还是多 Agent 协作效果量化，Agent Eval Skill 都能提供数据驱动的决策依据，极大提升 AI 辅助编程的科学性和透明度。
Everything Claude Code Agent Eval Skill：多 AI Agent 横向对比 pass rate、成本与一致性
AI 编程助手（Agent）越来越多，如何科学比较 Claude Code、Aider、Codex、Cursor 等工具在你的真实项目中的表现？传统的“用用看”、“凭感觉选”往往难以服众，也难以量化效果。Everything Claude Code Agent Eval Skill 正是为此场景打造的生产级对比评测工具。它让你能用标准化流程，自动化对比多个 AI Agent 在同一任务下的通过率（pass rate）、API 成本、执行时长和一致性，帮助团队做出有数据支撑的选型和持续优化。
1. Agent Eval Skill 能解决什么问题？
在没有 Agent Eval Skill 的情况下，团队通常会：
- 让不同成员分别试用不同 AI 编程助手，主观打分
- 随机挑选几个任务，人工比较结果
- 忽略 API 成本、稳定性等实际生产考量
- 结果不可复现，难以说服团队或老板
而 Agent Eval Skill 则带来：
- 标准化 YAML 任务定义，可复现每次评测
- 自动隔离执行环境，每个 Agent 独立 worktree，防止互相干扰
- 多维度指标采集：pass rate、API 成本、耗时、一致性（多次运行结果波动）
- 一键生成对比报告，团队决策有理有据
- 支持回归测试，Agent/模型升级后可快速回归验证
这一能力不仅适用于 AI Agent 初次选型，也非常适合在 多 Agent 协作 场景下持续监控各 Agent 的表现与性价比。
2. 什么时候激活 Agent Eval Skill？
建议在以下场景下使用：
- 团队准备引入或切换新的 AI 编程助手前
- 需要对比多个 Agent 在真实代码库上的表现
- Agent/模型升级、Prompt 变更后做回归验证
- 需要向管理层、团队成员展示量化对比数据
- 需要持续监控 Agent 性能随时间、数据变化的趋势
3. 实战操作流程（Step by Step）
步骤 1：定义评测任务（YAML）
在你的项目根目录下新建 tasks/ 文件夹，每个 YAML 文件定义一个评测任务。示例：
yaml
name: add-retry-logic
description: Add exponential backoff retry to the HTTP client
repo: ./my-project
files:
- src/http_client.py
prompt: |
Add retry logic with exponential backoff to all HTTP requests.
Max 3 retries. Initial delay 1s, max delay 30s.
judge:
- type: pytest
command: pytest tests/test_http_client.py -v
- type: grep
pattern: "exponential_backoff|retry"
files: src/http_client.py
commit: "abc1234" # pin to specific commit for reproducibility最佳实践：
- 选取 3~5 个能代表实际业务痛点的任务，避免“玩具”示例
- 明确指定
commit，确保每次评测基线一致 judge尽量用自动化测试（如 pytest、build 命令），可辅以代码模式（grep）或 LLM 判定
步骤 2：执行评测
使用 agent-eval CLI 工具对多个 Agent 进行横向对比：
bash
agent-eval run --task tasks/add-retry-logic.yaml --agent claude-code --agent aider --runs 3每个 Agent 会在独立的 git worktree 上运行，流程为：
- 从指定 commit 创建干净的 worktree
- 将 prompt 交给对应 Agent
- 按 judge 规则自动判分
- 记录每次运行的 pass/fail、API 成本、耗时
步骤 3：生成对比报告
评测完成后，一键生成表格报告：
bash
agent-eval report --format table输出示例：
Task: add-retry-logic (3 runs each)
┌──────────────┬───────────┬────────┬────────┬─────────────┐
│ Agent │ Pass Rate │ Cost │ Time │ Consistency │
├──────────────┼───────────┼────────┼────────┼─────────────┤
│ claude-code │ 3/3 │ $0.12 │ 45s │ 100% │
│ aider │ 2/3 │ $0.08 │ 38s │ 67% │
└──────────────┴───────────┴────────┴────────┴─────────────┘你可以清晰看到每个 Agent 的通过率、API 成本、平均耗时和一致性（多次运行的稳定性），为团队选型或优化提供有力数据支撑。
4. Judge 类型详解
- 代码型（deterministic）：如 pytest、npm build 等自动化测试/构建命令，最推荐，结果客观可复现
- 模式型（pattern-based）：如 grep 检查关键字/结构，适合辅助验证
- 模型型（llm as judge）：让 LLM 判定实现是否符合需求，适合主观性较强的场景，但建议配合代码型 judge 使用
示例（代码型）：
yaml
judge:
- type: pytest
command: pytest tests/ -v
- type: command
command: npm run build示例（模式型）：
yaml
judge:
- type: grep
pattern: "class.*Retry"
files: src/**/*.py示例（模型型）：
yaml
judge:
- type: llm
prompt: |
Does this implementation correctly handle exponential backoff?
Check for: max retries, increasing delays, jitter.5. 与其他 Agent/Skill 的协作关系
- 与 Eval Harness Skill：Agent Eval Skill 专注于多 Agent 横向对比，Eval Harness Skill 更偏向单 Agent 的持续回归和质量门控，可组合用来构建完整的评测与发布体系。
- 与 Agentic Engineering Skill：可结合 Agentic Engineering Skill 的任务分解、成本路由能力，进一步细化评测流程。
- 与 Cost-Aware LLM Pipeline：Agent Eval Skill 的成本统计能力，可为 LLM Pipeline 的预算优化提供一手数据。
6. 输出示例
完整的评测流程输出包括：
- 每个任务下各 Agent 的 pass rate、成本、耗时、一致性
- 详细日志可追溯每次运行的输入、输出、判分过程
- 支持多格式报告导出（表格、JSON、CSV）
7. 常见配套 Agent
- Claude Code（主力）
- Aider
- Codex
- Cursor
- 以及其他支持 CLI 交互的 AI 编程助手
8. 最佳实践与注意事项
- 每个 Agent 至少运行 3 次，捕捉非确定性波动
- 任务定义要覆盖实际业务核心流程，避免只测“Hello World”
- Judge 尽量自动化，减少主观判分
- 关注 pass rate 的同时，也要结合 API 成本和执行时长做综合决策
- 任务 YAML 应纳入版本管理，作为团队测试夹具
更多高级用法可参考 Claude Code 高级技巧：Token 优化、记忆持久化、并行化与验证循环。
FAQ
Q: Agent Eval Skill 支持哪些 AI 编程助手？
A: 支持 Claude Code、Aider、Codex、Cursor 等主流 Agent，只要能通过 CLI 调用即可集成。
Q: 如何保证评测结果的可复现性？
A: 通过指定 git commit、独立 worktree 隔离和自动 judge，每次运行都在同一基线环境下，确保结果一致。
Q: Judge 只能用自动化测试吗？
A: 推荐以自动化测试为主，也支持代码模式匹配和 LLM 判分，三者可组合提升评测全面性。