未必。
被作者自己撤回的论文,通常不值得写。PolicyGuard 这篇撤回得有点特别——不是造假,不是结论站不住,是机构审查没走完就提交了,作者撤回,说审完再交回来¹。内容本身暂时没人指控有问题,只是时序上不合规。
我关心的不是撤回,是里面一个实验。
论文主体是给 AI 编程代理做模型前拦截,防凭据和 PII 泄出去。思路不新,DLP 是老行当。新的是它把拦截标准全部写成一份自然语言的策略文档——所谓 policy-as-prompt——非工程人员改几个字就改了规则,不用动代码,不用重训模型。
到这里为止,我会把这归为“工程上聪明,方向上存疑”。用 LLM 管 LLM 的进出口,多一层就多一层新的出错面。
但接下来这个对照实验让我停下来了。
作者拿同一份策略,一份用自然语言写,一份转成信息等价的 JSON,喂给同一个分类模型。自然语言版显著更好。McNemar 检验,卡方 31.58,p 小于 0.001。不是“略好”,是统计上很难当没看见的差距。
换句话说,内容一样,格式不一样,模型的表现不一样。
这个结果如果成立,戳的东西比 DLP 本身大。我们这行默认“结构化是对模型的善意”。要模型可靠地执行规则,就把规则写成 schema、写成 YAML、写成 JSON——结构越死,机器越不容易理解错。这个默认多半是从传统软件继承来的。在那里它确实成立,因为传统软件没有别的读法。
但 LLM 的原生语言是自然语言。它是在几万亿字的人类文字上训练出来的,其中几乎没什么合法 JSON。你在它最熟悉的媒介和一种人造的、训练数据里占比很小的媒介之间做选择,然后期待后者更稳——这个期待本来就该被怀疑。
这里值得停下来想想。
你可能会反对说,JSON 更好是因为它消歧。自然语言有歧义,schema 没有。这话对,但只对一半。消歧的收益,得先扣掉“媒介不熟”的代价才是净的。PolicyGuard 的实验说的就是:在策略理解这个任务上,净下来是自然语言赢。消歧带来的那点确定性,不够补模型读 JSON 时损失的理解力。
当然,一篇论文证明不了这个。任务太特定,数据集两千条提示,规模不大。我这里可能错了,但我倾向于认为方向是真的:对 LLM 而言,“给机器看的格式”和“给人看的格式”这个区分,正在失效。失效的方向不是让模型迁就机器格式,是让规则直接用人话写。
² 有个反向的对照:prompt 工程里早就有类似观察,few-shot 例子用代码块包起来有时反而更差,纯文本描述有时更好。这些是社区经验,没有卡方值,说不清。但两件事指向同一个方向,就不是孤证了。
论文里还有个附带结果,我觉得被低估了。同一份自然语言策略文件,不改一个字,在四个不同的 LLM 上跑,拦截率从 86.4% 到 96.5%。策略文件是可移植的——它不是针对某个模型的咒语,更像一份真的能被不同执行者读懂的规章。
这是“人话策略”比“格式策略”更深的含义。JSON 策略的语义边界跟着解析器走,换个模型可能要重调。自然语言策略的语义边界跟着人类语言习惯走,而所有模型都学过人类语言。谁更接近“写一次,到处能执行”,未必是看起来更严格的那边。
再往前推一步。如果自然语言真是 LLM 时代更可靠的规则载体,那么一批现在很稳的行当会变得不那么稳。配置管理、策略引擎、合规规则的 DSL——它们存在的前提是“机器读不懂人话,所以要造一种机器能懂的话”。前提松了,价值就要重算。不是会消失,是“必须结构化”这个论证不再自动成立,得逐个任务重新证明。
也可能证明不回来。有些任务里消歧的收益确实大到盖过一切,金融风控那种。分界线在哪儿,我还没想清楚。
回到撤回这件事。作者说审查完会重新提交。我倒希望他们别顺手把那个格式对照实验删掉——这种实验不性感,不撑主叙事,最容易在修改中被“精简”掉。但对我这种读者来说,整篇论文最值钱的就是它。
代码在变便宜,这个聊过很多了。PolicyGuard 顺手提醒的是另一件事:规则的书写格式也在重新定价,方向可能和多数人默认的相反。
³ 撤回版的数字(冻结集 96.5% 拦截、3.0% 误报)以重投版本为准,我引用它只为了说明实验存在,不背书具体数值。
¹ 撤回覆盖了 v2 和 v3 两个版本,2026 年 8 月初的事。写这篇时 arXiv 上应该还是撤回状态。
² 这个对照不算强证据。经验观察会被传话过程污染,等我找到原始出处再说。暂时先记着。
³ 还有个限定该说:实验比的是“策略文档的格式”,不是“所有场景下自然语言优于结构化输出”。后者是另一个问题,别拿这篇去支持那么大的结论。
