速评:10 月 7 日挂上 arXiv 的 2610.10639,传出来的版本基本被压成一句话——“可见思维链不是通用优化器”。这个转法不算错,但把最要命的那块磨平了。
论文挑的是分析型代码生成。同一个分析需求,写成 SQL 行,写成 pandas 也行,天然一组对照,不用硬凑——这种现成的对照组,在提示词消融这个行当里不多见。作者把人格措辞、目标语言、可见 CoT 格式、控制前缀、直接生成、内部推理开关这些变量交叉摆开,26 页、16 张表,全部以代码跑不跑得出正确结果为准。主分类挂 cs.LG,交叉列了 cs.AI 和 cs.SE,软件工程那一栏至少说明作者清楚自己在测可执行的东西,不是聊天观感。
结论听着很温和:可见 CoT 没有普遍准确率提升;推理表示和目标语言对齐,也没有一致收益。
这两句我看完第一反应是“哦”。“CoT 不是万能的”这话 2024 年就有人说,说到现在快成共识,再念一遍不加分。真正让我坐直的是第三条,作者写得特别轻:这些效应取决于人格设定、目标语言、模型配置和内部推理开关。
这句听着像学术腔的免责声明,实际是判了一整门生意的死刑。
效应既然是交互的,那所有“三招让模型写 SQL 更准”的文章,量到的都只是某一个底座、某一种 persona 措辞、某一个开关状态下的边际效应,然后被当成普适规律卖出去。换个模型,把 persona 从“资深数据工程师”改成“数据分析师”,那个边际效应是涨是跌、会不会翻号,没人知道——包括写文章的人自己。
更狠的是那组消融。作者把“推理内容本身起了作用”和“提示格式起了作用”拆开算了一遍。拆完剩下什么,论文没往戏剧化的方向写,但意思不难读:过去两年里一部分“加了 CoT 涨点”的结论,涨的那一截可能来自格式扰动,不是来自推理。
这话我说不死。他们只在这一个基准、这一族模型上做,SQL-pandas 的查询级匹配构造得干净,可干净不等于普适。但方向够扎人——提示词技巧的复现性烂账,跟榜单的复现性烂账,根子上是同一件事:没人控制变量。
挑分析型代码生成当靶子也有讲究。这活儿同时压着自然语言歧义、schema 对齐、目标语言语法三样东西,任何一样抖一下,最后跑不跑得通都会变。三重约束叠着都测不出稳定收益,那在约束更少的任务上,“逐步思考”大概更接近习惯动作,不是技巧。
说句公道话,这个基准的设计比我见过的多数提示词消融论文扎实。一个需求两种语言表达,对照是天然的,不是后期凑的;16 张表也不是白堆,交叉变量摆得清清楚楚。所以我不是说这论文水,我是说它影响到的人比它自己承认的多。标题写“可见推理不是通用优化器”,实际动摇的是“通用提示词建议”这个概念本身。
还有个时间点的事。10 月 7 日挂上去,这个时点上主流模型的内部推理开关基本都成了标配。可见 CoT 的角色已经悄悄换了一茬:它更像给人看的审计界面,不再是提准确率的手法。论文里那句“内部推理配置有时才是更关键的因素”,才是该被单独拎出来转的,剩下十几页都在给这句话做注脚。
这里我得认一句。这类技巧我推荐过——不是“用 SQL 思考”这么具体的版本,但“给它一个资深工程师的人格,再让它先把思路写出来”这种话我说过不止一次。当时没有受控对照,凭的是“感觉好像稳一点”。现在有人拿 16 张表告诉你,感觉靠不住,那半句得收回。
但别急着把 persona 全删了。论文说的是效应依 persona 而变,不是 persona 有害,这两件事差得很远。变的意思是,它是个必须钉死的变量,不是随手撒的调料。你上次调 prompt 要是没记下 persona 原文,那次实验基本等于没做。
立个 flag:接下来半年,会有一批团队回头重测自己去年那套提示词,然后发现涨点里有一截是格式。不是他们变笨,是那时候没人把 persona 和输出格式当成控制项。
至于“用 SQL 思考”这类说法,我猜不会消失。太好记了。而好记的东西,从来不需要对。
