第三页那行温和建议、附录里一组看起来中性的数据、和一个根本不在交付范围里的 _hold/ 文件夹——七页审计报告真正致命的结论就蹲在这三处。读到这个细节的时候我就知道，这件事得拆。
Mark Johnson 通过 VeriTest 接进 FairPay 的 AI 评估流水线审计。第一周他就摸到实锤：评估数据集被过滤过，低分样本被系统性排除。接下来三个月的快照里，同一个排除模式出现五次，前三次规模大，后两次收窄。根因指向 Pulse AI 自动标注流水线，置信度阈值设 0.82，低于这个值自动丢弃。
这些发现，任意一条拎出来都该是审计报告的核心结论。Mark 没这么写。
他把数据集被过滤这个事实压成第三页一行，正文里既没有“被过滤”，也没有“签名特征匹配 Pulse AI 早前案例”。真正的时间线、完整快照对比、修复方案，全塞进 _hold/，留在 FairPay 审计工作区的磁盘上。外人不会去打开那个目录，这属于惯常操作，大家默认不碰。
这个细节我反复看，越看越觉得这不是情节设计，是 AI 评估审计这个行当的真实状态。审计报告从来不是技术文档，是分发决策。谁看得到什么、谁看不到什么、什么只配躺在磁盘上等发现——报告的结构，就是这个项目里利益格局的镜像。
先说利益方，这里至少三方。
第一方 FairPay 这类被审计方，买单的人。他们付钱要的就是一个能写进融资材料的徽章，最不需要一份白纸黑字写着“数据集被系统性污染”的报告。第二方 VeriTest 这类中间机构，靠撮合和背书赚钱。它们最喜欢的不是干净的结论，是那个刚好带一点可修复问题、下轮还能再进场的结论。第三方才是 Mark 这种一线执行审计师，唯一真正看数据的人，不掌握客户关系，也不掌握最终交付口径。
看清三方位置，报告的结构就清楚了。把严重发现拆成附录和 _hold/、化成第三页那句“建议补充评估数据分布校验”，不是在写论文，是在管理证据分发的确定性。第三页那句是开关：日后有人追问为什么没发现，他可以指过去说自己提过。附录零重叠数据是低风险信号：有心人能看明白，但不会立刻引爆。_hold/ 里的时间线和修复方案是底牌，只在特定时机拿出来。三层，每层一个接收者，每层对应一个后果。这不是拿钱的腐败，是自我审查的腐败。
第四层是谁也想不到的。Lena，VeriTest 的人，Mark 交报告后三周约他见面，直接说破他的三层设计，还指出背后有第四层，要他从明天开始把完整四层写出来。这里有个信息差：Lena 就是 VeriTest 的人，不是外部读者。Mark 在藏匿结构里预设的那个最内层接收者，居然是他理论上应该交付的机构本身——只是这机构里，不是每个人够格读到。
翻译成行业语言：AI 评估审计里，真正的结论只对足够近的人开放。远的客户拿干净报告，中层机构拿带暗语的技术附录，只有同时具备技术能力、机构身份和个人动机的人，才拿得到完整版。Lena 三样都占，所以她看出来了，还要 Mark 写出来。文章后面的补记很说明问题：Mark 最终往第三页那行字后面加了一段补充说明，地址写 VeriTest，内容是快照证据、exclusion_rules.yaml 路径、以及 pipeline 升级后的 confidence_threshold 异常。他补充的是证据位置，不是结论本身——坐标给 VeriTest，判断不给所有读者。
分层本身不必然邪恶。评估数据集、标注流水线、置信度阈值、采样分布，这些东西管理层看不懂，他只需要一个简化的“是/否”。分层是对不同读者负责。但危险不在分层，在把“谁有权知道什么”这个权力交到了这个一线执行者手里，这个人不掌握客户关系，没有机构授权，只有技术判断力。Mark 单方面做的决定，未经审核、不可追溯，完全凭个人偏好分发知识。他可能专业、有操守，但那行字往第三页一压，审计系统的制衡就退场了。
这个帖子还有一个别扭的地方：它自己给自己打分。dev.to 上三十六计系列第 16 篇，结尾给一个“AI 事后分析”，自评策略匹配度 82%，把 Mark 标成第一层运营者，把 Lena 标成“Mark 进场前一周就已经就位的第二层运营者”。这种自我打分，是消解。它在一篇讲分层藏证据的文章里，又叠了一层。作者用非常自觉的姿态告诉读者：我清楚这些人的位置，清楚策略匹配度，复盘也做完了。读者读到这里，还觉得这是审计案例，还是它本身就是整套分层策略的最外层——一个面向 dev.to 读者的、经过打磨的、自我标签化的出版物？
这种不适在 AI 评估领域有实体。更便宜的自我评估正在铺开：模型榜单、benchmark、消融报告、评测红榜。利益相关方自己产数据、自己设计评测、自己解读，然后当第三方结论发。Mark 发现的那种自动排除低分样本，对应的是更微妙的东西：不是作弊过滤，是评测可重复性太差，大家就让流水线跑着，失败样本自然沉底。一个模型评估流水线几年没人盯分母，滤掉的低分样本会变成默认。等人来审计，看到的不是被谁篡改过的数据集，而是一个跑了六个版本、每个版本都在无人看管下丢弃边缘样本的系统。这比蓄意造假难查，因为没有作案者。
我想到一个技术上的问题：Mark 第三页那句温和建议，真正的错误不只是省略太多，是修复方案本身可能就错了。根因若是一条“自动丢弃低于阈值样本”的规则，修复应引入独立于流水线的分布校验机制，单独监控被丢弃样本的下游影响，建一条人工复核逃逸通道——不是补一张分布图。分布图只告诉你偏了，不告诉你偏多少、丢了多少、对指标影响多大。低分样本正是判断模型线下面试会不会翻车的关键。不看分母只看高分，是在给模型做天使画像。
翻来覆去，判断就一句：AI 评估这行，技术门槛早不在能不能发现问题，在发现之后把发现装进第几层。模型不会因为评估失真失败，团队会因为不知道哪批数据被滤掉做出致命决策。审计报告写成按需分发的容器，容器分层就是资源错配的证据。Mark 技术上合格，制度上没人在管。发现被三层结构稀释后还剩多少？附录那组零重叠数据，两年后被不知情研究者拿去当“三个快照组高度一致”的正面证据，极有可能，因为数据看起来太客观了。
我的判断摆在这儿：AI 审计细分领域，单份报告的分层深度和被系统性操控的可能性成正比。层数越多，分发结论切得越碎，被审计方、中间机构、执行者三方争夺话语权越狠。正常审计报告该是扁平、无歧义、单一读者视角。哪个机构把审计发现做得像密码本，那个行业的信任已经先于报告崩坏。
这个判断会在一种情况下失效：出现独立的、被审计方和中间机构都无权干预的报告发布通道——真正外部开源、提交即全量公开、无权删除分级。那一天到来，我对“分层即利益格局镜像”的定性就重写。此前，我默认每份温和措辞的审计报告下面，都埋着一个 _hold/ 文件夹。
最后说 Mark 这种人。他不是坏人，做了审计师在当下能做的事。被 Lena 招募、被要求明天开始写完整四层报告，说明连“说真话”都需要更高级的运营者授权。不是个体操守问题，是结构问题。账算到这里，结论自己出来了——AI 评估审计的瓶颈，不在模型，在写报告的人。