诊断并优化 AI Agent 的技能文件(Skill Optimizer)
解决 AI 技能“不触发”或“执行效果差”的痛点:通过分析历史会话 JSONL 数据与 SKILL.md 静态结构,量化评估技能的触发率、用户满意度及 Token 效率,输出优先级明确的优化报告。
为什么需要这个技能
在使用 Claude Code 或 Codex 等 Agent 框架时,开发者会编写大量的 SKILL.md 来定义 Agent 的行为。但经常会出现以下问题:
- 低触发率(Undertrigger):明明定义了技能,但 AI 在面对相关任务时却没有调用。
- 误触发(Overtrigger):AI 错误地调用了某个技能,导致用户不得不手动纠正。
- 流程中断:技能定义了 5 个步骤,但 AI 经常在第 2 步就停止执行。
- Token 浪费:技能文件过长,占据了过多上下文,却极少被触发。
本技能引入了 CSO(Agent 搜索优化) 概念,通过 8 个维度的量化分析,让技能的迭代从“凭感觉修改”转向“基于数据的优化”。
适用场景
- 当你发现某些自定义技能在实际对话中从未被激活时。
- 需要审计整个技能库的质量,剔除低效或冗余的技能时。
- 想要优化技能描述,以提高 AI 命中正确工具的概率时。
- 评估技能文件是否符合“渐进式披露”原则(即分层加载以节省 Token)。
核心工作流
- 目标识别:扫描
~/.claude/skills/或~/.codex/skills/等路径,提取SKILL.md的元数据(名称、描述、触发词)。 - 数据采集:使用 Python 脚本扫描历史会话记录(
.jsonl文件),统计技能的实际调用次数、触发词匹配率及用户后续反应。 - 多维度分析:
- 触发分析:对比“触发词出现次数”与“实际调用次数”。
- 反应分析:分析调用后用户前 3 条消息是正面、负面还是修正。
- 执行分析:检查 Assistant 的输出是否完整覆盖了
SKILL.md定义的步骤。 - 静态检查:验证描述是否包含流程泄露、格式是否正确、关键信息是否在文件前 20% 区域。
- Token 经济:计算
调用次数 / 字数的性价比。
- 报告输出:计算 5 分制综合得分,并按 P0(阻塞级)、P1(体验级)、P2(优化级)输出修复建议。
下载和安装
下载 skill-optimizer 中文版 Skill ZIP
解压后将目录放入你的 AI 工具 skills 文件夹,重启工具后即可使用。具体路径参考内附的 USAGE.zh.md。
你可能还需要
暂无推荐