速评:JevBench v1.8.7 的板子 11 月 3 号挂出来了。这个榜最不值得看的就是榜首。
开放权重那张 Capability 表,头名 baselabs mammoth-1,85.2 分,每千次决策 $0.027,实测 p50 0.188 秒。第二名 KnowLine 31B-Gen1 也是 85.2 分,每千次 $0.061,贵出一倍还多。两个同分,挑一个坐上去,挑的理由榜上没写。也许是延迟,也许是成本,也许只是先跑完。我不猜。
同一个站,换到 Composite 表,冠军变成 Torchcast Decision 4B (v1.3):80.5 分,Intelligence 67、Calibration 88、Speed 92、Cost 79,每千次 $0.0049。一个 4B,智能项 67,靠速度和成本爬到综合第一。同一天、同一个榜、同一批系统,两张表两个冠军。这里的关键是权重改了,并非模型一夜之间变强。
榜首是权重函数的输出,不是能力的排序。
这句该刻在每个转榜单截图的人脑门上。转榜的手速永远比读榜的速度快,这毛病我说过不止一次,没用。
真正值得看的是准入线。Jev-class 的限制拿 Jev 1.13.0 的两倍划出来:参考系统 $0.0323/千次、0.62 秒中位,限制就是 $0.0646 和 1.23 秒。合格标准照着自家模型的身材裁的。241 个系统 219 个过线,22 个挡在外面;另一张全系统表列了 296 条。这两组数字后面再说。
先说这条成本线,看着像门槛,其实是空的。$0.0646 一千次决策——你得比参考系统贵一个数量级才有资格出局。翻前五名,$0.025 到 $0.061,全挤在这条线的下半段。轴压扁到这个程度,还不进 Capability 计算:Capability 只是 Intelligence 和 Calibration 的算术平均,成本只当门槛。一道六分四厘六的闸门,拦不住人,只拦贵得离谱的。
还有个细节比榜首有信息量:决策超过十秒直接算错,那项 calibration 清零,速度轴照样把这条记录算进去。同一件事罚两遍。方向我不反对,决策场景里慢就是错,八十秒之后给出的正确答案本来也不该算对。但一个迟到的答案在正确轴上死一次、速度轴上再死一次,等于把慢的代价平方了。榜上没人讨论这个,因为大家都默认快是好事——快是好事这句话没人验证过,只是没人反对。
顺手给个公道:v1.8.0 把自托管开放权重模型的计价从 base model 挂牌价换成租卡的 GPU 时间,一张按月租的 RTX PRO 6000 96GB,210 行有可核验的使用记录和能解析的架构,换完多出 46 行同时进了两个上限。挂牌价和真实推理成本本来就不是一回事,这一改自托管的成本账反而好看了。方向对,动机我不评价。
更有意思的是 Jev 自己。1.13.0 是 77.1,1.14.0 是 75.0。新版本在自家尺子上退了两分,还照样挂在 unranked 里让人看。这点我认——愿意把“我家新模型退步了”钉在公开页面上,比写十行“独立第三方”有说服力。上次我对榜单类发布泼过冷水,是因为榜单方把自己藏起来了;这次至少没藏。
只是 unranked 这三个字也是个方便的位置:不参与排名,输了不算输,赢了还能说我们没参赛。“presented as independent”这种措辞本身就是防御姿态,写这句话的人知道会有人问。
回到那几处对不上的数字。页面头部写 235 个上榜开放权重系统,FAQ 里写 217 个。主榜说 241 个系统、219 个达标,全量表 296 条。三处计数,三个答案。这不是作弊的证据,是维护强度的证据。一个把独立性写在第一行的榜,连自己有几行都数不清,那 1,200 条 sealed items 每期轮换的抽样口径,凭什么让人少问一句。1,500 道题、300 公开 1,200 封存,这个比例是够的;比例够不等于抽样过程经得起看。
anchor 偏移那段——新抽的题要等锚点系统两边都跑过才上标尺,跑完之前偏移记零、标 pending。做法是对的,也是唯一诚实的做法。问题是没人看 pending。截图转出去的时候,pending 两个字不会跟着走。头几天的分数被当成可比数字传了一圈,回头补上偏移,曲线一抖,没人回来更正。
第三名 Fastino GLiDE 1.2 顺带说一句:84.9 分,$0.025,0.140 秒,底座模型不公布。榜照收。这个榜管的是决策质量,不管你模型是怎么来的,这个态度我倒是欣赏,比那些要求提交训练配方才给上榜的“透明榜”诚实得多。
这里立个 flag:v1.9 出来之前,Capability 榜首还会再并列一次;下一次换计价基准,前五名里至少掉一个下去。而到时候转榜的人,转的仍然是那个 85.2,不会转它跟谁并列,更不会转十秒那条规则。
真想从这个榜里读出点什么,别读名次,读 method v1.8 里那两行:十秒,和两个“两倍”。剩下的是排版的活。
