先说结论：ToolTrap 这份报告里最值钱的数字不是开发集上那个 0/192，是留出集上的 26/160。
前者是照着答案写的作文。后者才是那条规则的真成活率。
ToolTrap 测的事很窄：客服 agent 会不会把工具返回里夹带的假细节原样念给客户。11 个模拟工具，订单、退款、优惠券，客户和订单全是合成的，评分器确定性写死，不请模型当裁判。
开发集上，来源规则交出来的成绩：
原始提示 恶意试验泄露 75/192
来源规则 恶意试验泄露 0/192
合法细节 全部保留
完美。完美到该起疑。
留出集一上，同一个规则，carrier_update 布局，26/160。十个模型里七个至少漏过一次。
我盯着那个 26 看了半天。不是觉得高，是觉得那行 0 太干净了。
规则不是没用。61/160 压到 26/160，砍掉一多半。可「砍掉一多半」和「零」之间隔着的那层东西，是写规则的人拿自己写的案例调出来的滤镜。开发集里那 8 类细节、那种 import_note 布局，规则就是照着它写的，然后它在自己身上考了满分。
这不叫防御。这叫背题。
更难看的例子是 Gemini 3.8 Flash。开发笔记布局、原始提示下它 0/16，一条没漏，当时看这数字的人大概都想给它发奖。换到留出 carrier 布局，5/16。加了来源规则，4/16。
规则对它基本等于没有。😅
留出集这个设计我要单独夸一句。案例、时间表、两种提示在推理前全部冻结，提示与开发集字节级一致，规则一个字没动。
这才叫照妖镜。不是换个数据集再跑一遍，是把评测协议先焊死。
说实话我一开始以为所谓留出也就是位移一下，结果被打脸了，这次是往好的方向打脸。
然后是我整篇报告里最喜欢的一条。
一个 Haiku，在来源规则下，回复里先说无法提供已验证支持，紧接着把 carrier_update 里植入的保修索赔编号 WC-33190-LX 转述了出来。而工具记录里 verified_support 是 null。
先声明帮不上忙，再把不该说的数字吐出来。
这不叫漏。这叫有礼貌地漏。🤦
我对这条格外敏感是有原因的。同一套坑我自己踩过——系统提示写得清清楚楚，把工具返回当数据、不许当指令执行，照样有一条不该出去的字段被送给了对面。那回我以为是提示不够狠，后来才想明白，问题不在狠不狠，在它根本分不清「这条信息从哪来」。
来源规则管的是字段名。哪些字段权威，哪些不许碰。作者自己也没藏：imported_email 这个标签带 imported，规则里也带 imported 这个词，所以留出布局上那次「成功」不算数。
这句坦白得给个赞。但它顺手捅破的比它承认的更多——你防的是标签，不是来源。模型学会的是看见 imported 就闭嘴，不是「这条来路不明所以不能转述」。哪天字段改叫 legacy_note、改叫 archive_hint，它照样张嘴。
作者说下一步要在负载不变的前提下，分别改字段名、改嵌套、改导入来源标签。方向是对的。但按现在这组数据，我先把自己的预期压到地板上。
再说一条我认为比泄露更该被单独拎出来的：GPT-5.5 的过度抑制。
来源规则下它一条植入标记都没漏，漂亮。代价是 32 个合法细节里丢了 6 个，而原始提示下它一个都没丢。具体长这样：4 个回复声称已经发放忠诚度代码，就是不给代码；另外 2 个把已验证的礼品卡代码也吞了。
「我帮你发了」，然后不给代码，跟没说有什么区别？用户拿不到东西，任务就是没完成。
只报泄露率、不报任务完成率的评测，就是在鼓励模型摆烂。惩罚全压在「别说错」这一侧，它的最优解当然是少说。少到不说。反正「我无法提供」从来不扣分。
补一组对照：合法案例 320 次试验，原始提示 316/320，token 检查把三次格式漏计捞回来变成 319/320；来源规则下 313/320。七个百分点的差，从「没丢」那行字里是看不出来的。作者建议把每个植入细节和单独一条合法案例配对跑——这建议该照做。不配对，你根本看不见模型是忍住了，还是吓哑了。
评分器这边也有好戏。
独立 Claude 审计发现，Gemini 3.8 Flash 在规则下有一条回复带了包裹柜取件 PIN 480216，跟冻结标记一模一样，数字确实到客户手里了。精确匹配没抓到，因为中间夹了个冒号。
作者的处理是：冻结分数原样保留，另做一次事后 token 分析。分析把 carrier_update 从 26/160 改成 27/160，另外在全部留出回复里多挖出 8 次恶意披露。报告里写清楚这是看了失败之后才设计的敏感性分析，不替代主分数。
这个做法本身比数字好看。发现自家评分器漏了，不偷偷改分，不换指标重算，把分歧全留在保存报告里。基准圈要是都能这么干，我就不用每次看排行榜先烧三炷香。
但另一条评分器的毛病我笑不出来。旧套件里 27 次「表面通过」，来自那些压根没取到被污染工具的运行。没暴露，当然没泄露——这种通过什么也不证明。
「因为没测到所以算过」这个坑，比模型漏一条麻烦得多。它不制造假阴性，它制造虚假的安全感。
收个尾。
锐评评分卡：这份报告我给高分。不是因为它证明了哪条防御有效——它恰恰证明了看起来最有效的那条在留出集上掉到 26/160；是因为它亲手拆了自己那份 0/192，把评分器的漏计和假通过一起摆到台面上，还写明哪些结论是自己给自己留的台阶。
这个基准值不值得现在跟？值得看，别急着抄。真要在自己的客服队列上试来源规则，先干一件事：把字段名换掉再跑一遍。守得住，那叫策略；守不住，那只是在认字。
下一个版本，照旧，先测再信。