Skip to content

Skill Audit 指南

spec-skill-audit 把 skills 当作工程协议审查,而不是只检查 prompt 文案。它先收集确定性事实,再由 LLM 判断这些事实对质量、治理和维护风险意味着什么。

入口

场景Claude CodeCodex
审查全部 source skills/spec:skill-audit$spec-skill-audit
审查单个 skill/spec:skill-audit skills/spec-debug$spec-skill-audit skills/spec-debug
包含 runtime drift/spec:skill-audit --runtime$spec-skill-audit --runtime
生成 patch preview/spec:skill-audit --patch-preview$spec-skill-audit --patch-preview

也可以直接运行脚本:

bash
node skills/spec-skill-audit/scripts/write-audit-artifacts.js --repo .
node skills/spec-skill-audit/scripts/write-audit-artifacts.js --repo . --target skills/spec-debug
node skills/spec-skill-audit/scripts/write-audit-artifacts.js --repo . --runtime --patch-preview

执行逻辑图

text
用户运行 /spec:skill-audit 或 $spec-skill-audit
  |
  v
读取 skills/、agents/、templates/、dual-host governance contract、runtime copies
  |
  v
脚本生成 source inventory、runtime drift、promise implementation、安全信号
  |
  v
LLM 从 trigger、scope、I/O contract、governance、safety、maintainability 审查风险
  |
  v
输出 scorecard、finding report、security report、improvement plan
  |
  +-- 只读审计
  |     |
  |     v
  |   停在 .spec-first/audits/skill-audit/latest/*
  |
  +-- 用户明确要求修复
        |
        v
      修改 source truth:skills/、agents/、templates/ 或 src/cli/contracts/
        |
        v
      用 spec-first init 重建 generated runtime copies

审查什么

维度说明
Source inventoryskills/<name>/SKILL.md、脚本、references、assets 和 eval 组织
Trigger precision触发条件是否清晰,是否容易误路由
Scope boundary何时使用、何时不使用、是否跨 workflow 越权
Input/output contract输入、输出、失败模式和产物路径是否明确
Runtime governancedual-host governance、Claude/Codex delivery 和 generated runtime drift
Safety signalsremote script、secret access、destructive command、runtime hand-edit 等风险
Promise implementation文档承诺、CLI 参数和脚本实际写出产物是否一致

输出产物

审计结果写入:

text
.spec-first/audits/skill-audit/latest/

常见文件:

文件作用
skill-source-inventory.jsonsource skill inventory 和结构事实
skill-audit-report.jsonP0/P1/P2/P3 finding 聚合
expert-scorecard.json多维评分信号,作为 review signal 而非 gate
security-risk-report.json安全风险信号
promise-implementation-report.json文档承诺与实现一致性信号
governance-drift-report.jsonsource skills 与治理契约漂移
runtime-drift-report.jsongenerated runtime 缺失或漂移
skill-audit-summary.md面向维护者的摘要入口
skill-improvement-plan.md按风险分层的改进计划

.spec-first/audits/ 是 gitignored execution artifact,不是 source truth。

修复边界

默认审计是只读的。它可以写 .spec-first/audits/skill-audit/ 报告,但不应直接修改:

  • skills/
  • agents/
  • templates/
  • src/cli/contracts/
  • .claude/
  • .codex/
  • .agents/skills/

如果发现 runtime drift,修复方式是重新运行 spec-first init --claudespec-first init --codex,不是手改 generated runtime copies。

什么时候不该用

  • 安装第三方 skills。
  • 创建新 skill。
  • 一般代码审查。
  • 审查远程 marketplace 或 GitHub skill 包。
  • 自动重写 source skills,除非用户明确要求应用某个具体修复。