参考了 cc 大佬的 paper_redteam_audit 今天又写了个skills ,重构而成。
下载链接 https://my.feishu.cn/file/Q1qKbJtXroEE1uxPgvzcJGginmf?from=from_copylink
1. 技能简介:kz-research-artifact-redteam-audit
目标:面向“科研产物仓库(research artifact repository)”的提交前红队审计,强调证据优先、零容忍与可复核定位,重点找出会让评审/复现者不信任结论的真实原因。
核心特征
-
范围更泛化:不仅适用于论文仓库,也覆盖“代码 + 数据 + 产物 + 复现包 + 文稿/报告”组合的科研产物仓库。
-
流程更强约束:显式提出“主张-证据索引”与证据引用格式,减少审计漂移。
-
更强调论证链一致性:新增“前提 → 方法 → 证据 → 结论”的论证链检查,降低“逻辑自相矛盾/范围偷换”类风险。
-
更强的报告门闸:内置
scripts/verify.py支持对最终audit_report.md做可选严格校验(--strict-report),把报告质量从“建议”升级为“可判定约束”。
主要工作流(路由入口)
-
@工作流: 全库审计:提交前的一次性全量红队审计(默认入口)。 -
@工作流: 修订重审:对修复后的仓库做复核,强调“证据是否真的变了”。 -
@工作流: 失败模式更新:将本次审计教训匿名化、泛化沉淀进失败模式库。
关键产出(建议)
-
audit_report.md:按模板输出,发现优先、可定位证据、覆盖与缺口透明。 -
A0/A1/A2结构(在严格模式下可强制): -
A0:摘要/结论句子拆解出的 ClaimID 主张清单
-
A1:ClaimID → 证据对象/引用位置 → 结论 的索引表
-
A2:证据引用格式约束
参考文件:
-
技能主文档:
../.trae/skills/kz-research-artifact-redteam-audit/SKILL.md -
报告模板:
../.trae/skills/kz-research-artifact-redteam-audit/assets/output_template.md -
本地校验:
../.trae/skills/kz-research-artifact-redteam-audit/scripts/verify.py
2. 原始版本简介:paper_redteam_audit
目标:面向 AI/ML 论文仓库的提交前红队审计,强调证据优先、零容忍与“先发现后表扬”的审计姿态。
核心特征
-
更轻量/更短:工作流与报告模板更简洁,适合快速落地。
-
英语表达:更适合直接用于英文论文项目协作。
-
失败模式库成熟:
references/common-failure-patterns.md覆盖典型论文审稿攻击面。
参考文件:
-
技能主文档:
./SKILL.md -
报告模板:
./output_template.md -
本地校验:
./scripts/verify.py
3. 关键差异对照(结构与流程)
4. 优缺点分析
4.1 kz-research-artifact-redteam-audit(新版)
优点
-
可复核性更强:强制(或可选强制)证据定位与索引结构,降低“审计说不清证据在哪”的风险。
-
更抗漂移:把审计过程收敛到 ClaimID/A0/A1 的约束上,减少“看着看着跑偏”与“报告噪音”。
-
覆盖更全面:把“论证链一致性”“身份/配置/数据版本信息”“复现包/打包完整性”等纳入显式检查。
-
更适合高风险交付:当失败成本很高(投稿/开源/评测/挑战赛复现)时,门闸式流程更值回票价。
缺点
-
写作与流程成本更高:严格模式需要维护 ClaimID/A0/A1,一定会增加报告工作量。
-
模板更“硬”:在一些不以“摘要/结论”组织的仓库(例如纯 artifact、无论文)上,需要调整 A0 的含义或使用方式。
-
中文导向:若团队主要用英文协作,直接复用需要额外翻译或双语维护。
4.2 paper_redteam_audit(原版)
优点
-
轻量且易启动:较少结构性门槛,更适合快速“先跑一遍红队”。
-
英文生态友好:对英文论文仓库更自然。
-
模板简洁:报告产出更快,适合迭代频繁、改动快的项目阶段。
缺点
-
过程约束较弱:缺少显式的“主张-证据索引”与引用格式硬约束,容易出现审计漂移或证据定位不稳定。
-
缺少报告内容校验:本地 verify 不检查报告字段完整性/占位符/索引覆盖,质量更依赖执行者自觉。
-
覆盖更偏论文:对“科研产物仓库”的数据版本、打包、复现包完整性等议题,需要使用者自行补充清单。
5. 使用建议:什么时候选哪个
-
更推荐使用 kz-research-artifact-redteam-audit:
-
你要交付的不仅是论文,还包括可复现产物/代码/数据/权重/复现包
-
你需要“可复核、可追责”的审计报告(证据定位必须稳定)
-
你希望用
--strict-report把报告质量变成硬门槛 -
更推荐使用 paper_redteam_audit:
-
你当前要做的是快速、轻量的论文仓库红队扫雷
-
团队协作语言以英文为主,且不希望引入额外流程成本
-
你更依赖审计者经验,而不是强门闸流程

