诊断并优化 AI Agent 的技能文件(Skill Optimizer)

解决 AI 技能“不触发”或“执行效果差”的痛点:通过分析历史会话 JSONL 数据与 SKILL.md 静态结构,量化评估技能的触发率、用户满意度及 Token 效率,输出优先级明确的优化报告。

为什么需要这个技能

在使用 Claude Code 或 Codex 等 Agent 框架时,开发者会编写大量的 SKILL.md 来定义 Agent 的行为。但经常会出现以下问题:

  • 低触发率(Undertrigger):明明定义了技能,但 AI 在面对相关任务时却没有调用。
  • 误触发(Overtrigger):AI 错误地调用了某个技能,导致用户不得不手动纠正。
  • 流程中断:技能定义了 5 个步骤,但 AI 经常在第 2 步就停止执行。
  • Token 浪费:技能文件过长,占据了过多上下文,却极少被触发。

本技能引入了 CSO(Agent 搜索优化) 概念,通过 8 个维度的量化分析,让技能的迭代从“凭感觉修改”转向“基于数据的优化”。

适用场景

  • 当你发现某些自定义技能在实际对话中从未被激活时。
  • 需要审计整个技能库的质量,剔除低效或冗余的技能时。
  • 想要优化技能描述,以提高 AI 命中正确工具的概率时。
  • 评估技能文件是否符合“渐进式披露”原则(即分层加载以节省 Token)。

核心工作流

  1. 目标识别:扫描 ~/.claude/skills/~/.codex/skills/ 等路径,提取 SKILL.md 的元数据(名称、描述、触发词)。
  2. 数据采集:使用 Python 脚本扫描历史会话记录(.jsonl 文件),统计技能的实际调用次数、触发词匹配率及用户后续反应。
  3. 多维度分析
    • 触发分析:对比“触发词出现次数”与“实际调用次数”。
    • 反应分析:分析调用后用户前 3 条消息是正面、负面还是修正。
    • 执行分析:检查 Assistant 的输出是否完整覆盖了 SKILL.md 定义的步骤。
    • 静态检查:验证描述是否包含流程泄露、格式是否正确、关键信息是否在文件前 20% 区域。
    • Token 经济:计算 调用次数 / 字数 的性价比。
  4. 报告输出:计算 5 分制综合得分,并按 P0(阻塞级)、P1(体验级)、P2(优化级)输出修复建议。

下载和安装

下载 skill-optimizer 中文版 Skill ZIP

解压后将目录放入你的 AI 工具 skills 文件夹,重启工具后即可使用。具体路径参考内附的 USAGE.zh.md

你可能还需要

暂无推荐