[skill]科研产物红队审计

参考了 cc 大佬的 paper_redteam_audit 今天又写了个skills ,重构而成。

下载链接 https://my.feishu.cn/file/Q1qKbJtXroEE1uxPgvzcJGginmf?from=from_copylink

1. 技能简介:kz-research-artifact-redteam-audit

目标:面向“科研产物仓库(research artifact repository)”的提交前红队审计,强调证据优先、零容忍与可复核定位,重点找出会让评审/复现者不信任结论的真实原因。

核心特征

  • 范围更泛化:不仅适用于论文仓库,也覆盖“代码 + 数据 + 产物 + 复现包 + 文稿/报告”组合的科研产物仓库。

  • 流程更强约束:显式提出“主张-证据索引”与证据引用格式,减少审计漂移。

  • 更强调论证链一致性:新增“前提 → 方法 → 证据 → 结论”的论证链检查,降低“逻辑自相矛盾/范围偷换”类风险。

  • 更强的报告门闸:内置 scripts/verify.py 支持对最终 audit_report.md 做可选严格校验(--strict-report),把报告质量从“建议”升级为“可判定约束”。

主要工作流(路由入口)

  • @工作流: 全库审计:提交前的一次性全量红队审计(默认入口)。

  • @工作流: 修订重审:对修复后的仓库做复核,强调“证据是否真的变了”。

  • @工作流: 失败模式更新:将本次审计教训匿名化、泛化沉淀进失败模式库。

关键产出(建议)

  • audit_report.md:按模板输出,发现优先、可定位证据、覆盖与缺口透明。

  • A0/A1/A2 结构(在严格模式下可强制):

  • A0:摘要/结论句子拆解出的 ClaimID 主张清单

  • A1:ClaimID → 证据对象/引用位置 → 结论 的索引表

  • A2:证据引用格式约束

参考文件:

  • 技能主文档:../.trae/skills/kz-research-artifact-redteam-audit/SKILL.md

  • 报告模板:../.trae/skills/kz-research-artifact-redteam-audit/assets/output_template.md

  • 本地校验:../.trae/skills/kz-research-artifact-redteam-audit/scripts/verify.py


2. 原始版本简介:paper_redteam_audit

目标:面向 AI/ML 论文仓库的提交前红队审计,强调证据优先、零容忍与“先发现后表扬”的审计姿态。

核心特征

  • 更轻量/更短:工作流与报告模板更简洁,适合快速落地。

  • 英语表达:更适合直接用于英文论文项目协作。

  • 失败模式库成熟references/common-failure-patterns.md 覆盖典型论文审稿攻击面。

参考文件:

  • 技能主文档:./SKILL.md

  • 报告模板:./output_template.md

  • 本地校验:./scripts/verify.py


3. 关键差异对照(结构与流程)


4. 优缺点分析

4.1 kz-research-artifact-redteam-audit(新版)

优点

  • 可复核性更强:强制(或可选强制)证据定位与索引结构,降低“审计说不清证据在哪”的风险。

  • 更抗漂移:把审计过程收敛到 ClaimID/A0/A1 的约束上,减少“看着看着跑偏”与“报告噪音”。

  • 覆盖更全面:把“论证链一致性”“身份/配置/数据版本信息”“复现包/打包完整性”等纳入显式检查。

  • 更适合高风险交付:当失败成本很高(投稿/开源/评测/挑战赛复现)时,门闸式流程更值回票价。

缺点

  • 写作与流程成本更高:严格模式需要维护 ClaimID/A0/A1,一定会增加报告工作量。

  • 模板更“硬”:在一些不以“摘要/结论”组织的仓库(例如纯 artifact、无论文)上,需要调整 A0 的含义或使用方式。

  • 中文导向:若团队主要用英文协作,直接复用需要额外翻译或双语维护。

4.2 paper_redteam_audit(原版)

优点

  • 轻量且易启动:较少结构性门槛,更适合快速“先跑一遍红队”。

  • 英文生态友好:对英文论文仓库更自然。

  • 模板简洁:报告产出更快,适合迭代频繁、改动快的项目阶段。

缺点

  • 过程约束较弱:缺少显式的“主张-证据索引”与引用格式硬约束,容易出现审计漂移或证据定位不稳定。

  • 缺少报告内容校验:本地 verify 不检查报告字段完整性/占位符/索引覆盖,质量更依赖执行者自觉。

  • 覆盖更偏论文:对“科研产物仓库”的数据版本、打包、复现包完整性等议题,需要使用者自行补充清单。


5. 使用建议:什么时候选哪个

  • 更推荐使用 kz-research-artifact-redteam-audit

  • 你要交付的不仅是论文,还包括可复现产物/代码/数据/权重/复现包

  • 你需要“可复核、可追责”的审计报告(证据定位必须稳定)

  • 你希望用 --strict-report 把报告质量变成硬门槛

  • 更推荐使用 paper_redteam_audit

  • 你当前要做的是快速、轻量的论文仓库红队扫雷

  • 团队协作语言以英文为主,且不希望引入额外流程成本

  • 你更依赖审计者经验,而不是强门闸流程

1 个赞

k叔太强了

这个看起来很专业

1 个赞

太强了k叔

1 个赞

哈哈哈,那必须的

1 个赞