先说结论:GenXR-Bench 里最硬的数字不是 50.9%,是 96.5%。
前者是考生考出来的分,后者是卷子本身的信度。这行的老毛病,分数做成标题,信度塞进第七节。
这篇也一样。arXiv 2610.29014,10 月 21 号挂上来,22 号就更了第二版。隔一天补一版,我不猜原因。
我的流程是先看标题,再翻题型,最后才看附录。这套顺序救过我很多次。
看到「最强配置 Pass@1 50.9%」,第一反应挺实在:过半了?行啊!让一个编程 agent 去干 XR 这种三维、实时、挂着传感器的活儿,能过一半,听着确实能拿出去说。
然后我把卷子翻过来看题型。
112 项专家任务 = 应用生成 67 + 功能实现 24 + 缺陷修复 21
10 个模型里最强配置,总 Pass@1 = 50.9%
六成卷面是「给我生成一个应用」,四成是「把这个功能实现掉」「把这个 bug 修掉」。
这两类题对模型的要求根本不是一个东西。生成题的起点是模板和空白页。修 bug 的起点是一坨别人写好、跑得起来、你不敢乱动的代码。
67 和 45 揉成一个百分数,这数就只能用来排名。
排名有用,我认。但排名和进度条是两码事。拿它当「离通用 XR 开发还剩一半路」,那是自己给自己上滤镜。
还有一句得抠出来看:「表现最好的配置」。十个模型里最好的那个,50.9%。这句话的骨架是剩下九个更难看。论文没写这半句,抹不掉。
分项到底怎么分布,我没见到。所以上面这段只能算怀疑,不算结论。谁手上有分项表,拍我脸上来,我改。
翻到附录我才坐直。96.5%,这段是真夸。
124 个候选应用,跑在消费级 XR 硬件上
脚本化交互 + 自适应交互,程序化断言 + 视觉断言
判定 vs 盲审专家一致率: 96.5%
这才是这套东西值钱的地方。
XR 的 bug 有个很讨厌的特点:截图看着对,戴上头显不对。一个杯子在桌面上「落」下去了,坐标全对,物理全错;一段手势「触发」了,时序全对,手感全错。纯文本断言判不了这种错。纯人肉评审又不可复现,换个人打分就换个结果。
把视觉断言塞进自动化流程,这条路我举双手赞成。🔍
而且 96.5% 不是 100%。剩下那 3.5% 是它自己承认拿不准的地带。肯把这条摆出来,比那些张口就是「人机一致率 99%」的通稿实在得多。我猜那 3.5% 大概率落在动态场景和主观手感上——没数据,纯猜,先记这儿。
然后是失败分析。反复出现三类:异步传感器生命周期、物理落地、具身交互语义。
这不是边角料。
XR 应用的全部意义就在这三件事上。传感器读不对,头显是块砖。物理站不住,虚拟物体是贴纸。交互语义不通,手柄就是个塑料疙瘩。前两件做不对,还能赖工程细节;三件一起错,那就是没搞懂这平台为什么存在。
所以 50.9% 不叫「走了一半」。
叫「不依赖空间的那一半跑通了」。
两句话差得很远。前者是进度条,后者是边界。评测真正值钱的从来不是分数,是把边界画清楚——哪一块能交给 agent,哪一块还得人手写。这份失败分类比总榜有用十倍,可惜它排在结果后头。🙂
「首个」这个词,我认一半。
我对这俩字有前科。上次被某个「首发限定」忽悠着续了一年费,从那以后看到这类字眼先自动打七折。arXiv 上「首个 XX 基准」每年没有一百也有八十,出现频率和实际稀缺度成反比,这规律我写过不止一遍。
但这个我认。端到端、真机运行时、视觉断言,三样凑齐的确实少见。
37 页,10 幅图,16 位作者。这排面说明它不是周末攒的玩具卷子,112 项专家编写的任务是有成本的。
代价是它更新会慢。
XR 的 SDK 三个月动一次接口,一套写