先说结论：10 月 22 号挂上 arXiv 的这份基准，最值钱也最难看的数字是 26.2%。
四个视觉语言模型，二十张地图，跑完之后表现最好的是 gpt-6-astra，平均订单完成率 26.2%。
四单成一单。
这成绩单要是拿去配「视觉语言模型已经能协作」这句宣传，那也太好糊弄了。这也配叫协作？
副标题写得客气：「An Overcooked-Inspired Benchmark for Visual Planning and Coordination」。客气到我读之前还以为能看到点好消息。
结果不是。
这份基准真正照出来的不是哪个模型强，是“双人协作”这四个字现在的成色。照妖镜照出不好看的东西，不怪镜子。
提示已经喂到嘴边了
这个环境里，提示给得相当足。道具图例直接摆在视野里，锅里还剩几份食材有专门指示器，目标点网格化标出来，连空间定位都替你省了一半。观测是俯视角的，模型只输出高层动作——切、端、下单。怎么绕过堵在门口的队友、怎么挪到灶台，全交给引擎。
导航这一堆最烦人的活，基准替你干了。
提示给到这个程度，还是 26.2%！
我承认预期拉得有点高。看到「双人协作烹饪」「视觉规划」这几个词，我脑子里闪的是那种能分工、会让位、会喊一句“锅给我”的东西。数据摆出来：四单成一单。剩下三单，大概率是俩人一前一后撞在同一个灶台上。
记忆消融，看完更迷糊
作者做了记忆消融。两组条件都保留最近六轮动作历史，唯一变量是那个共享的自建笔记本机制。
结果：Claude 和 Qwen 的平均得分差为正，GPT 和 Gemini 为负。
一半涨一半跌。
这个结果严格来说什么也没证明。最像回事的解释是不同模型吃上下文的胃口不一样，笔记本塞进去的东西一多，反而把注意力搅浑。但论文把它写成「记忆机制的作用因模型而异」——这句话没错，问题是它等于没说。四个样本跑出两个方向，这个结论的可信度和“看情况”差不多。
我要是审稿人，就追问一句：这机制你到底还留不留？
不过那个 Unreal 环境我没跑起来复现，所以“因模型而异”这半句我暂时先收着。这条我没测完，先别信我。
指标栏里有个东西挺扎眼
任务得分、订单完成率、配送精度、动作接受率，还有一条：模型 API 调用开销。
最后这项，一般 benchmark 论文不写。写进去了，说明作者清楚这套东西跑一遍是要烧钱的——四个模型、二十张地图、每局几十上百次调用，账单实打实。把开销跟准确率并排放，这个做法我认。
但反过来也挺讽刺：一个用来测协作规划的基准，最稳定、最可复现的指标可能是 API 账单！
真要算这钱花得值不值，就得按这个逻辑倒推：这套跑一遍的费用，换回来多少条能用的结论。官方不给你算这笔账，你自己得算。
还有个细节我卡了一下。环境建在 Unreal Engine 里，而且是“由编码智能体辅助生成”的。基准本身是 AI 帮忙搭的，搭完拿这个基准去考 AI。工程上没什么好指摘的，省事，大家都这么干。但“环境由智能体辅助生成”和“环境某些几何细节上恰好对某类模型更友好”之间有没有关系，论文没提。
这条我先记着，不下结论。
唯一想鼓掌的地方
五类地图的分法，是这次我唯一想给它点个赞的东西。设备争用下的集中协调、地形变化带来的影响、角色之间的交接依赖——这三件事在真实多人协作里本来就是三件不同的事，能拆开考，比笼统甩一个总分有信息量得多。再叠上“单个模型同时操控两名玩家”这个设定，比那种两个模型互相通信的做法更贴近实际部署。毕竟现在还没奢侈到给每个 agent 配一个不同模型。
二十张地图不算多。但一张一张啃下来，比刷一万道选择题更能看出模型的规划究竟断在哪一环。
只是啃完的结果不太好看。拆得清楚，不等于测得干净。
锐评评分卡
这个基准做得不冤。分类清楚，指标给得实在，把 API 开销写进评测这一手算诚实。论文六个作者，工程量和设计心思都看得出来。
这波真冤的是那些拿着“视觉语言模型已经能协作”这句话去做产品的人。26.2% 摆在这儿，四单成一单——这句话现在只能算个待验证的主张，不是结论。
值不值得现在跟？做 agent 协作方向研究的，值得扒下来看看那五类地图怎么设计的，尤其交接依赖那一类，我觉得能拆出东西。想拿它证明“我的模型会协作”的，先缓缓。
等有人把 26.2% 刷到 60% 以上再谈。
刷榜我从来不信。但至少得先有人刷上去——现在连刷上去的都没有。