速评:四天前挂上 arXiv 的 2611.06095,标题平平,结论比这个月绝大多数发布会都狠——把显式推理当成“永远开着总没错”的能力,本身就是一笔糊涂账。
先摆事实。Lukas Twist、Helen Yannakoudakis、Jie M. Zhang 三个人,挑了 7 个开放权重的显式推理模型,覆盖 6 种代码基准设置,输出预算统一固定成 32k token,然后去看这 32k 到底花在哪。结果:在若干模型与基准的组合上,超过一半的生成,等 32k 烧完了,模型还在“想”,一行代码都没吐出来。
这不是模型能力问题,是预算问题。而这个行业眼下的默认前提是:推理是免费的。
我盯着“超过一半”这四个字看了半天。这类论文最容易写成“某模型在某榜单上翻车”,但这篇真正的东西在于,它把“思考”变成了可以测量的消耗。32k 这个固定值不算大方,平时自己用谁管过这个数?可一旦把它钉死,结论就躲不开了:模型在推理阶段把输出预算烧光,pass@1 就等于一个按概率随机出现的零。写代码的模型连代码都没输出出来,你让我怎么给它打 pass?
归因也有意思。多数完全溢出跟重复的推理循环有关,这个大家能猜到,agent 卡在自我怀疑里转圈早不是新闻。真正卡住我的是后半句:也存在没形成循环、纯粹因为推理特别长,照样把预算耗光的情况。这句话直接堵死了“加个循环检测就能收工”的省事思路。你没法用模式匹配去抓一段“虽然没绕圈但就是很长”的思考,就像没法用 if 语句判断一个人是不是在认真想事情。
然后是这篇论文里我最想拎出来的那条:对容易溢出的模型,关掉推理反而有竞争力。
这话要是被产品经理看见,下半年的 roadmap 得重画一半。过去两年整个叙事是反过来的——思考越长越强,thinking budget 越大越高级,谁家默认不开深度思考,都显得不够上进。现在有人把数字摊开告诉你:在容易溢出的模型家族上,那个开关最该做的动作是关掉,至少保证有输出。
有输出的烂代码能 debug,没输出的一段完美推理只能留在日志里。
当然,论文没把话说死,我也不替它说死。较强的模型做较难的算法任务和代码理解任务,推理仍然有价值;函数级的简单任务上,溢出本来就少见。所以这不是“推理没用”,是“推理的收益高度依赖条件”——而“依赖条件”这四个字,恰好是所有宣传稿最不愿意写进去的部分。通稿爱的是“推理能力提升”,不爱“在 A 条件下有效,在 B 条件下不如关掉”。
至于怎么管,论文给了两条路。提示词引导能显著降低部分模型的溢出,但效果不稳定——不稳定就等于不能用。你今天调好的那套 prompt,明天换个模型家族就失效,这种方案只有写论文的时候好看,做到产品里就是给客服增加工单。真正能用的那条是带预算的转换机制:直接控制,还顺手把容易溢出模型的表现和 token 效率一起抬上去。
所以作者的结论其实很朴素:把显式推理当资源管理,别把它当一种能力供起来。
说到这我得承认一件事。几个月前我夸过某家把“深度思考”做成默认开启的操作,觉得那是对用户诚实——不藏着掖着,让你看见模型在思考。现在回头看,那更像把预算分配的活儿直接甩给了用户:开关是给了你,但你可能根本不知道它会吃掉多少输出预算。人是矛盾的,评论员也是,这条我认。
冷水也得泼:7 个模型、6 种基准设置,规模不大,而且限定在开放权重的显式推理模型上,闭源那些到底怎么分配预算,谁也不知道。这类论文的结论,能复现的那部分要等几周社区反馈,别当天就把图截下来当定论用。
这里立个 flag:半年之内,会有做 coding agent 的产品开始把“推理预算”做成显式可控的参数,而不是一个二值的“深度思考”开关。到那时候回头看 11 月 4 号这篇论文,它大概会被当成那个把话说破的起点。
现在全网还在比谁家 thinking token 上限更高。上限高是本事,能把上限花在该花的地方,才是产品。