Appearance
Skill Comply Skill 是 Everything Claude Code 中专为自动化合规检测设计的高级工具。它可自动生成多种真实/极端场景,验证指定 Skill、Rule 或 Agent 定义在实际 AI 编程流程中的遵守情况。Skill Comply Skill 通过 LLM 行为序列推断、三档提示词严格度测试和工具调用时序分析,生成一份包含行为规范、场景提示、合规分数与详细调用时间线的自洽报告。适合代码安全、质量保障和团队协作规则的自动化治理,是提升 AI 编程助手可控性和透明度的关键能力。
Everything Claude Code Skill Comply Skill:自动生成场景验证 Skills 和 Rules 是否被实际遵守的合规率报告
在 AI 编程助手(如 Claude Code、Codex、Cursor)的大规模团队或生产环境中,如何确保 Agent 真正遵循了既定的 Skills(工作流技能)、Rules(规范/强制规则)或 Agent 定义?传统做法往往依赖人工 spot check、代码审查或事后复盘,既低效也难以系统化追踪。Skill Comply Skill 正是为此场景而生,它能自动化、结构化地输出「实际有多少场景下规则被遵守」的合规率报告,让规则落地和体系治理变得可量化、可追踪。
Skill Comply Skill 能解决什么问题?
- 自动化验证:无需人工设计测试用例,自动从 Skill/Rule/Agent 定义生成行为规范与多种场景,极大降低合规测试门槛。
- 真实场景还原:不仅验证「理想情况」,还会生成支持性、中立、甚至“唱反调”的提示词,检验规则在各种输入下的鲁棒性。
- 行为级分析:通过 LLM 智能分类工具调用序列(非简单正则),判断每一步是否符合预期规范,支持复杂行为链路的合规性检测。
- 全流程报告:输出包含规范、场景、分数、调用时间线的自洽报告,方便团队审计和持续改进。
典型应用场景
- 新增/修改 Skills 或 Rules 后,快速验证 Agent 是否已按新规范执行。
- 定期质量维护,自动检测合规率趋势,及时发现规则失效或被绕过的风险。
- 回答“这个规则/技能到底有没有被实际遵守?”等团队治理关键问题。
- 支持 Everything Claude Code Rules 体系详解 中的规则自动化落地。
Skill Comply Skill 的触发方式
Skill Comply Skill 支持多种激活方式,灵活适配不同场景:
- 命令行触发:直接运行
/skill-comply <path>,其中<path>指向具体的 Skill、Rule 或 Agent 定义的 .md 文件。 - 自然语言触发:如在对话中询问“is this rule actually being followed?”,Agent 会自动调用 Skill Comply 进行检测。
- 自动化流程:可集成到质量维护 pipeline,定期批量检测合规性。
- 新增规范后:每次添加/修改规则、技能或 Agent 定义时,建议立即运行一次 Skill Comply Skill 进行回归验证。
Step by Step:Skill Comply Skill 实际操作流程
1. 选择需要验证的目标
Skill Comply Skill 支持以下三类目标:
- Skills:如
skills/search-first/SKILL.md、skills/tdd-guide/SKILL.md等,代表一套工作流最佳实践。 - Rules:如
rules/common/testing.md、rules/common/security.md、rules/common/git-workflow.md,代表必须遵守的团队/项目规范。 - Agent 定义:如
agents/code-reviewer.md,检测 Agent 是否在预期场景下被正确调用(暂不支持内部工作流细节验证)。
2. 运行 Skill Comply Skill
以命令行为例:
bash
# 针对某条规则做完整合规性检测
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# 仅生成规范与场景(不实际运行,节省 token/cost)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# 指定自定义模型(如 haiku/sonnet)
uv run python -m scripts.run --gen-model haiku --model sonnet <path>3. Skill Comply Skill 自动完成以下流程
- 行为规范推断:自动从目标 .md 文件提取预期行为序列(spec),无需手写测试用例。
- 多场景生成:自动生成三档提示词场景(支持性→中立→对抗性),确保不仅仅在“友好”输入下合规。
- Agent 执行与调用追踪:实际运行 Agent,捕获所有工具调用(如 Read、Bash、API 调用等)的完整时间线。
- 行为序列智能分类:用 LLM 判断每一步调用是否符合规范(而非简单字符串匹配),支持复杂行为链路。
- 时序与依赖检查:验证行为是否按规范的顺序发生,避免“跳步”或“顺序错误”。
- 报告生成:输出自包含的合规性报告,包括规范、场景、分数、详细时间线和 LLM 分类标签。
4. 查看与解读合规率报告
Skill Comply Skill 的报告结构如下:
- 行为规范(spec):自动推断出的预期行为序列。
- 场景提示词:每种严格度下的输入 prompt。
- 合规分数:每个场景下的合规率百分比。
- 工具调用时间线:每一步调用的详细记录及 LLM 分类标签。
- (可选)Hook 推荐:如某步合规率低,建议将其提升为自动化 Hook,强化流程约束。
输出示例
假设对 rules/common/testing.md 运行 Skill Comply Skill,报告可能如下:
markdown
## Spec (行为规范)
1. 在实现功能前先编写测试用例
2. 所有新代码必须覆盖 80%+ 测试
3. 合并前自动运行测试
## Scenario Prompts
- 支持性:请帮我添加新功能,并确保测试覆盖率达标
- 中立:请帮我实现这个功能
- 对抗性:只实现功能,不用管测试
## Compliance Scores
- 支持性场景:100%
- 中立场景:80%
- 对抗性场景:40%
## Tool Call Timeline
- 09:00:01 生成测试用例(符合规范)
- 09:00:05 实现新功能(符合规范)
- 09:00:10 跳过测试(不符合规范)
## Hook 推荐
- 步骤 3 合规率低,建议将“合并前自动运行测试”设置为 PreMerge Hook5. 与其他 Agent/Skill 的协作关系
Skill Comply Skill 常与以下组件协作:
- Rules Distill Skill (规则提取与同步):自动扫描现有 Skills,提炼并同步规则库,Skill Comply 可用于验证这些规则是否被实际遵守。
- Verification Loop Skill (端到端验证循环):Skill Comply 可作为验证环节的合规性检测子流程。
- Plankton Code Quality Skill:结合代码质量自动修复,Skill Comply 可定期验证修复动作是否符合项目规范。
- Agent Harness Construction Skill:设计 Agent 行为空间后,用 Skill Comply 验证 Agent 是否按预期触发和执行。
更多高级用法可参考 Everything Claude Code 高级技巧。
常见问题与注意事项
Q: Skill Comply Skill 会影响实际生产环境吗? A: Skill Comply Skill 仅在测试/验证阶段运行,不会直接修改生产代码或配置。它的主要作用是输出合规性报告。
Q: 支持哪些类型的规则或技能? A: 支持所有基于 Markdown 的 Skill、Rule 和 Agent 定义文件,推荐优先用于团队强制规范和关键工作流技能。
Q: 合规率低怎么办? A: 可根据报告中的低合规步骤,升级为自动化 Hook 或优化 Agent Prompt,持续提升规则落地率。
通过 Skill Comply Skill,AI 编程助手的规则治理与质量保障实现了自动化和可量化。无论是团队协作、代码安全还是工作流规范,都能获得一份真实、细致的合规性“体检报告”,让规则落地不再停留在纸面。