速评：又一个 XxxBench，但这次它拿物理当裁判。
10 月 8 日挂上 arXiv，cs.AI 主分类，交叉标了 cs.CV 和 cs.GR，作者是 Peter Kulits、Yiqing Xu、R. Kenny Jones，后面还压着 Cordelia Schmid 和 Jiajun Wu。这串名字摆出来，就不是哪个实验室随手攒个榜单刷引用。
我本来打算跳过。这大半年 XxxBench 出得比模型还勤，多数是拿现成数据集换个壳，跑几个 API，末尾补一句“仍有提升空间”交差。但这篇的任务设定不太一样：agent 从离散零件库里挑件，拼出一套既满足文本提示、又真能装上手的方案，局部约束和全局约束一起压。
难就难在乐高是硬的。少一个 2x4 就是少一个 2x4，没有近似解，没有“语义上差不多”，干涉就是装不上。coding agent 那套“测试跑过就算过”在这儿不作数，最终裁判不是单元测试，是物理。
这一点正戳在 agent 评测最软的地方。过去一年我们太习惯把“能跑通”当成“能做成”了。
然后论文自己把底交了。
结论那句我读了三遍：领先智能体能满足大部分可验证的物理与语义要求，但设计水平仍低于人类。重量不在“低于人类”，在“可验证”。凡是能被形式化、能被程序判定的那部分，agent 已经吃掉大半；剩下那块被起了个名字，叫设计质量。
三个评分维度里，有效性、对齐度都好办，只有设计质量一滑进来，立刻从硬约束变成人打分。谁来打、几个人打、两人打分不一致怎么算，摘要里没写。
同样没写的还有“人类”是谁。资深乐高玩家？作者自己？还是实验室里随手拉来凑对照的同学？样本量多大？这条基线是整个结论的唯一支点，摘要里一个字没交代。要较真，只能等正文。
其实“可验证”这三个字才是题眼。这一年基准的走向就是往可验证上收——数学题有标准答案，代码有单元测试，工具调用有返回值，凡是能被程序判个对错的都拉进来做成榜，判不了的就被踢出评测范围。乐高这个载体把这套逻辑推到了物理边界：连“装不装得上”都能自动判定。用一句不太客气的话说，凡是被收进来的，agent 迟早吃掉；凡是被踢出去的，就成了人打分。
顺带说一句，三档“规模与可用零件范围不同”的设置，这个是有心的。小库考的是选择——能不能在几十个候选里挑对那几个；大库考的是搜索——几千个零件规格塞进去，怎么在 context window 里锁定对的那几十个，选错一个整块就废。这两件事的难度完全不是一回事，很多基准图省事，只测前者。
还有个细节我盯了一下。论文声明公开基准和环境，给了项目页链接，但 arXiv 摘要页上那个链接现在是占位符。可能只是页面没同步，也可能就是先占住位置，等录用通知下来再放代码。这剧本，眼熟。每年投稿季前挂出来的 benchmark，说开源、链接 TBD，等录用通知发完再看仓库，一半是空的，剩下一半只放评测脚本，环境还在“即将发布”。
靠物理约束测 agent 也不是这篇首创，拿积木、拿 CAD、拿电路图做类似事情的前人不少。这篇的增量在于把它做成了完整的、带 BrickAgent 环境的、三档规模的基准——agent 能自己构建、检查、验证，比一个静态数据集有用得多。静态数据集只能告诉你它错了，环境能告诉你它错在第几步。
已经有人开始说“AI 连乐高都会搭了，设计师要失业”。
这话早了。搭和设计是两回事。零件库是封闭的，约束是给死的，任务是“在约束里找一个可行解”，这更接近约束满足加空间推理，离“决定要搭什么”还差着最关键那一步。真到 agent 自己提需求、自己定审美、自己看着成品说这套不好看要推倒重来，再谈失业不迟。
说到这儿有点心虚。上次我也泼过冷水，说某个基准火不过一个月，结果人家现在就是那条赛道的事实标准。所以这回话说轻一点：这篇大概率成不了标准，但它指的方向——用带物理硬约束的环境去测 agent，而不是再堆一个文本问答集——会。
这里立个 flag：半年内，“可验证”会从基准的卖点变成基准的及格线，而剩下那块说不清的设计质量，才是下一轮吵架的主战场。