REGATTA，arXiv 2610.30924，10 月 22 号提交，作者 Luong Tuan Thanh 和 Abhijit Sanyal，ICoDSE 收的六页短文。我读到第四部分才第一次慢下来。
第四部分里一个数：当前模型在美国保险场景的复测，阶段一致率 0.536，低于合并随机水平 0.549，没过 V3 下界检验。第二次慢下来是在来源审计里，另一句：24 条“无问题”的条目，只经过 AI 复核。
这两个数单独摆出来，在评估论文里都算敢写。合在一起，像同一个作者做了两件对的事——先测了自己的测量工具，再把坏消息写出来。
REGATTA 全称 Regulatory Evaluation of Agents via Two-stage Testing and Assurance。它有三样东西：一份 125 条、每条带来源的清单，覆盖美国和越南五个“行业×司法辖区”组合；一个 25 个故障、分五类的故障注入语料库；一个 harness，在设计阶段和执行阶段分别给测试套件打分。三个 LLM 生成器产出 180 个测试套件、5400 个场景，去考察四项测量诊断指标。
这些数字刚读起来是标准评估论文那种“我们控制了一切”的开场。我也这么读，直到 0.536 冒出来——前面那些整齐数字突然不再是框架多稳，而是两阶段测量的假设可能不成立。
历史阶段在 66% 到 69% 的“故障—套件”配对上判断一致，这个我不意外，不同生成器之间稳着。执行阶段的故障画像也稳。但“阶段一致率低于随机”这说法，评估论文里很少见。多数评估框架论文，阶段间一致性差，根本不会让你看到。它会给你 κ=0.72 这种看起来够稳的数，然后跳过自己内部最尴尬的地方。
这篇倒过来。专家盲法裁定的 κ=0.72，95% 区间 [0.52, 0.88]，40 个当前模型执行探测 κ=0.75，都写了。同一段里还放了 0.536，顺手写了一句「低于合并随机水平 0.549」。作者显然知道随机水平是什么，也知道“低于随机”在论文里是什么级别的自曝，还是写了。这让我重新相信这篇的动机是测量学，不是宣传新框架。
我顺手跑了一下，把 0.536 和 0.549 这两个数按“两份独立判断对照边缘分布”的情况重算了一遍随机一致性。没有去碰它的 V3 检验，只想确认“低于随机”这个结论在直觉上站不站得住。算完的结果是，如果把两个阶段看作两份可能带着各自边缘偏好的判断，随机水平确实能落在那个区间附近，0.549 不算离谱。也就是说，0.536 比 0.549 还低，描述的是一种真正的分歧，不是作者挑了个苛刻的基线。
这个结果让我放心了一点：这个数不是用来吓人的。更像作者在说：我照着最正常的随机基线算出来，我们的两阶段工具还没到随机那么好。
来源审计这段更难读。125 条清单，审计结果是 24 条对现行规则的陈述有误，46 处引用缺陷，31 条只依赖非约束性、不可识别或不可验证的来源，24 条经核实无问题。
24 条无问题这个数出来后，我本来想粗略瞄一眼就往下走。读审计流程，停住了：只有最初被实质性问题标记过的条目才做了人工复核，全部 24 条“无问题”的条目只经过 AI 复核。
这就有问题。AI 复核说“无问题”，说明不了是真无问题还是 AI 没看出来。前面审计能找出 24 条错误，说明 AI 至少能找出一部分错，但不代表它能找全。把“无问题”交给 AI 复核，等于把守门任务交给可能漏检的那个机制。那 24 条“无问题”更像下界，不是上界。
测量学上，这和前面 0.536 的精神相反。前面宁肯把坏消息发出来，这里把好消息的来源写得不够硬。我猜作者心里清楚，但没有多一个专家把 24 条也过一遍，于是就这么发了。
结论里他们自己摆了一句：「结论描述的是工具在文本层面的表现，而非法律合规性结论。」这句位置很关键。整套测量都在文本层，不是法律层。来源审计在文本上都没过干净，更别说拿它当法务事实的代理。
这论文还有一层背景：和 arXiv:2606.04037 共享历史实验语料和两阶段评估方法，重点不是从零搭新工具，而是测量诊断和来源审计，新增当前模型复测和裁定者验证。所以它本质上是在老实验上做更狠的测量学检查，把狠出来的结果也发出去。这更像修自己的车，不是新车发布会。作者没用「我们重新定义了合规评估」这种话术；他承认前一篇的材料，接着说“这次我把测量学部分翻出来再看一眼”。这一眼看到了 0.536，也看到了 24 条只经过 AI 复核的无问题条目。
原文里有一句我记住了：
阶段间分歧超出重复执行带来的波动。
这是第四部分的主人：不是测量误差造成的波动，是两个阶段之间真的不对齐。重复跑几遍，波动还在；换到执行阶段，它跟历史阶段看的就不是同一件事。论文把这个差异当成证据，去质疑两阶段测试这个前提本身。
做 agent 合规的人，不点链接也能带走三句。两阶段打分，先问有没有做裁定者验证，别只看最终分数。来源审计如果只有 AI 复核，“无问题”只能当没被 AI 看出来，不能当真干净。阶段一致性低于随机不是 bug，是假设没满足的信号。出现这个，得回到两阶段测试的设计里改，不是把数字藏起来。
这篇值得点开——不是因为有新框架，是它把自己的框架放到测量学显微镜底下，顺手把显微镜本身的脏点也拍了下来。0.536 是其中一张拍得最清楚的照片。