Skip to content

使用 agenttrace 对 AI 编程会话进行成本与质量审计

解决 AI 编程过程中的“黑盒”问题:通过 agenttrace 分析本地会话日志,量化 Token 成本、定位工具调用失败原因并评估会话健康度,为优化 Prompt 和成本提供数据支持。

为什么需要这个技能

在使用 Claude Code、Cursor 或 Aider 等 AI 编程工具时,用户经常会遇到:这次运行为什么这么慢?为什么突然消耗了大量 Token?为什么 AI 在某个步骤陷入了死循环?

单纯查看对话界面无法得知底层的工具调用链和延迟分布。agenttrace 提供了一种本地优先的审计方案,通过分析 session 日志,将不可见的“推理过程”转化为可量化的指标(如健康得分、工具失败率),帮助开发者决定是否需要拆分任务、更换模型或修正上下文。

适用场景

  • 成本审计:分析某次复杂重构消耗的 Token 峰值,优化成本支出。
  • 故障排查:当 AI 无法完成任务时,检查是否存在重复的工具调用失败或严重的延迟空隙。
  • CI 质量门禁:在自动化流水线中为 AI 辅助编程会话设置健康度阈值,过滤掉低质量的运行结果。
  • 方案对比:对比两次不同 Prompt 产生的会话,分析工具调用路径的差异。

核心工作流

1. 扫描与发现会话

首先通过 --doctor 检查环境,确保能找到 AI 工具(如 Claude Code, Cursor 等)生成的日志目录。

bash
agenttrace --doctor
agenttrace --overview

2. 生成可读审计报告

将复杂的日志转换为 Markdown 格式,重点关注高风险会话(如健康得分低、存在关键异常或 Token 浪费严重的情况)。

bash
agenttrace --overview -f markdown -o agenttrace-overview.md

3. 深度分析单次会话

针对特定的一次运行进行详细检查,或分析最近的一次会话。

bash
agenttrace --latest
agenttrace path/to/session-or-export.json

4. 构建自动化审计门禁

在 CI 环境中,利用 JSON 输出和健康度阈值(Health Threshold)来决定会话是否合格。

bash
agenttrace --overview --fail-under-health 80 --fail-on-critical --max-tool-fail-rate 15

下载和安装

下载 agenttrace-session-audit 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹,重启工具后即可使用。具体路径参考内附的 USAGE.zh.md

你可能还需要

暂无推荐