最近盯了一篇 dev.to 的后续，作者 YuhaoLin2005，七月发的，后来又编辑过一版。为什么盯它？我一直在找一个“同行反馈真打进了测量层”的活案例——不是评论区客气两句“感谢指正”然后什么都不改的那种。这次是真改了，而且改的地方很有讲头。
先交代我以为的样子。我第一版以为这就是一次普通的 robustness check：被质疑了，换个指标重跑，数字动一动，发个 v2。这种事见多了，流程都长一个样。
动手读下去发现不是。人家改的不是数字，是测哪儿。
原来的打分是全输出平均 logprob 差分。评论区有人（Dipankar Sarkar 那几位）指出：约束的影响出现在决策 token 上，不在聚合平均里。这句话我盯着看了半天——它其实是个很普遍的坑：平均会稀释。决策就那么几个 token，摊到整段输出里一平均，效应被非决策部分的噪音泡开了。
画张图：
旧量法： [整段输出] ──平均──► 一个 delta（信号被摊薄）
新量法： [只取预先标注的决策 token] ──► delta（信号没稀释）
结果：40 个探针重打，d=0.578，32/40 对齐，原结论保住。最有意思的是那 8 个——旧量法下看着“没效应”，换到决策 token 上，分化清清楚楚。也就是说旧量法不是量错了方向，是把真有效应的地方量成了没有。
防作弊那手也做得硬：标注位置是重打分之前就冻死的，分类器只跑一遍。不冻的话就成“看着结果挑位置”，lookback bias 的老路。这一手我想专门画出来，因为太多重分析栽在这里——我们自己复盘自己实验的时候也一样。
到这里我以为故事讲完了：换量法、结论稳、收工。
等等等等，先别急。评论区还有更狠的一下。Mike Czerwinski 那条反馈，作者把核心论断整个改了方向——从“格式不重要，因为机械 gate 占主导”，改成“格式恰好在 gate 够不着的地方才重要，而且那些缺口是结构性的，不是暂时的”。
这个改法值得画张图，因为它不是认输，是换了个更准的落点：
旧论断：机械 gate 统治一切 ──► 格式 ≈ 无关
新论断：gate 的覆盖有边界 ──► 格式在边界外生效，且边界是结构性的
“结构性”这个词别滑过去。它意味着：不是等模型再强一点、gate 再调调参就能补上的洞，是这类 gate 天生够不着的地方。
后面的实验正好打在这个点上。P1-2 是个 2x2（GateGuard × 格式），600 trial。开 GateGuard 之后，机械合规近乎完美——不管什么格式，99.3%。到这步旧论断看着还活着。但另一条腿：散文格式的规则比代码格式的规则，稳定地引出更深的推理，差了大概 +0.25 SD。
咔哒一下扣上了💡——gate 管住的是“做没做”，管不住“想多深”。合规率 99.3% 那一栏全是 gate 的功劳；深度那一栏 gate 一点忙帮不上，是格式在干活。两条腿各管各的，所以谁也没吃掉谁。
打个比方：机场安检和座位。安检能拦住你带不该带的（机械 gate，99.3%），但它管不了你在飞机上坐得多舒服——那是座位设计（格式）的事。你不会因为安检很严就说座位设计不重要。
这个比喻哪里漏风，老实标一下：安检是硬边界，过了就过了；gate 之外的“深度”不是有界区域，是个连续量，+0.25 SD 这种东西你很难说“gate 的边界在哪一格”。真实机制里边界是模糊的带，不是一道门。抓大方向用比喻，抠细节回到数字。
还有一处想单独拎出来，因为它最容易被挑刺：评分管道里没有 LLM judge，全是确定性 regex，判的是离散的是/否项——选了哪个方案、有没有点名一个 trade-off、有没有标不确定性。有人担心 oracle bias，作者回应说条目本身是离散的、看走眼的空间小，但 judge 视图的格式剥离还没做。这句“还没做”我喜欢。没做就是没做，写在那儿。
边界探针那轮 robustness check 也值得记一笔：L2/L3 模糊的探针，往两边各挪一层重分，分化模式两头都稳。这种“往最不利于自己的方向重分一遍”的动作，比多跑十个探针更能说明结论是真的。
有一段我也还没完全画明白，先放这儿：那个五层结构（L0 心理安全到 L4 漂移预测）配上 DECISION-TREE.md，听起来很整齐，但分类还是人肉 prose 在做。后来有了 mechanizability_scanner.py v0.1.1，确定性 regex 打 0 到 1 分，拿 P1-1 的 ground truth 校准，还从跨模型校准里冒出来一个二维的 gateability 模型——规则结构一维，模型顺从倾向一维。这个二维的东西我第一遍读的时候直接滑过去了，第二遍才反应过来它在说：同一条规则，换一个模型，落在哪一层可能不一样。这要是站得住，比我上面讲的整件事都大。懂了再补。
所以这期真正想说的就一句：挨打之后换的不是结论，是测量标准——换完标准结论反而更硬，还顺手把效应的下界钉死了（作者自己的说法：旧量法偏保守，真效应可能比 0.578 大）。这种挨打方式，值得学。
自检：你能给自己的某个实验指出“我在测平均、但效应在决策点”的位置吗？一时指不出来的话，那多半就是下一个该画开的地方。我自己手上至少有两个旧实验想翻出来重打了……下期见。