昨晚在 arXiv 上乱翻，cs.AI 的列表，点进一个叫 FrontierPhysics 的预印本，提交时间戳是 11 月 4 号傍晚。我物理水平大概停在会考，纯粹因为标题里带 agent 才点进去。
翻了没几页就卡在一个数字上。
22 个模型，26 种配置，每种配置分到 168 次 rollout，没有一种通过超过 46 次。
我盯着这个数看了挺久。不是因为它低——这个分数算好算差我根本判断不了，我连门槛在哪都不知道——是因为它让我想起上个礼拜一个下午。
那个下午我在写一个很小的脚本，从一堆日志里抽行、过滤、按类型计数。懒得自己写，把需求丢给同桌，让它拆成三个函数：解析一行、判断要不要、累加。三个函数它写得都挺干净，我一个一个单独测，全过。
串起来跑，出来的数跟我手算的差了一截。
然后就是一个多小时的乱猜。是不是过滤条件写反了，是不是正则里那个空格把字符吃掉了，是不是读文件的编码不对，是不是……我甚至还去翻了一遍那个库的文档，确认默认参数。
最后发现是累加那一步默认了输入已经按时间排好序。
解析函数没错。累加函数单独喂排好序的数据也没错。错的是我脑子里那句「应该本来就是按顺序的吧」。
全程没有任何报错。脚本安安静静跑完，输出一个错的数。我要是没顺手手算一遍，它现在可能还在用。
翻回论文。它对智能体的轨迹做了人工审阅，结论是前沿模型的主要短板在推理不够严谨、缺专家直觉——不是物理知识不够，也不是执行环节出错。
读到这句我在椅子上愣了一会儿。
这不就是我那个下午。不是它不知道怎么写累加，也不是它写出来的代码跑不起来，是它（和我）都没在动手之前问一句「这一步默认了什么」。
这是知识问题吗？不是。我知道累加要先排序之后，那行三秒钟就改完了。
那它到底是什么？我给不出一个准确的词。论文里管它叫专家直觉。42 位物理学家按自己的研究工作出题，56 个任务，横跨理论、计算、实验三个方向——他们出题的时候用的就是那个东西，他们知道自己领域里哪一步最容易被想当然。
我连我那个三十行脚本里哪一步想当然，都是事后才知道的。
顺带说一句，看到 72 个作者的时候我走神了。第一反应不是这论文多厉害，是这活儿得多少人干。42 位物理学家出题，说明出题这件事本身还没法交给机器。这个想法对不对我不知道，但它当时确实从我脑子里冒出来了。
说回那句结论。我刷到过一种读法，大意是模型还不够强，再等等就补上了。我不知道对不对，我自己不太信。
知识可以往里塞，执行环节也能修，这些我都能想象出路径。但「知道自己默认了什么」这个，我只能从自己身上看到一个特别慢的过程——被坑一次，记住一个，换个地方再被坑。到现在攒下来的大概也就那么几个。
也许规模上去之后会有别的事情发生，我低估了也说不定。我不知道。
还有个更让我不舒服的地方：这东西出错的时候不吵。
报错我是不怕的，报错至少告诉我这儿有问题。上个礼拜那个脚本是另一种——它跑完了，输出很整齐，数字看着也合理。我如果不是碰巧手算了一遍，根本不会去查。
现在回头看，最吓人的不是它算错了，是我在它算错的那一个多小时里，一直以为是我手算错了。
对了，我平时用 AI 一直在做「固定题目」。让它写一个函数，我知道正确答案长什么样；让它解释一个报错，我能验证它说得对不对。这些全是小题。真正的活儿是从一个不清楚的地方开始，一点点搞清楚——那种我几乎没让它碰过，因为我怕它糊弄我，而我又看不出来。论文里那些任务要求走完调研、计划、研究、写到成稿一整条，我看到的时候想的是，这种流程我连自己跑一遍都没跑过。
那怎么办？我不知道。真不知道。
能想到的只有一个笨办法：现在每让它写一段我要用的东西，我逼自己把每一步的输入假设说出来一遍，说不出来的就先不用。很慢，慢到有时候我会烦。而且经常说不出来——一说就发现自己其实也没想清楚这步要什么。
就像那个排序。我以为我知道，其实我只是没想过。
这个我到现在也没搞懂：有没有办法在动手之前就知道自己哪里想当然了，还是只能靠一次次被坑出来？评论区蹲一个大佬。