SWE-bench 排行榜的账，算不平了
先把这个结论撂这：SWEbench 排行榜在 Verified 这个划分上，已经死了。不是模型能力到头了，是这把尺子自己被磨平了——前两名各解决 396 个实例，分数一模一样；前十名共同成功 285 个、共同失败 51 个，真正能把它们拉开差距的实例只剩 164 个。你花几万美刀跑一轮评测，最后买到的区分度是零。
先把这个结论撂这：SWEbench 排行榜在 Verified 这个划分上，已经死了。不是模型能力到头了，是这把尺子自己被磨平了——前两名各解决 396 个实例，分数一模一样；前十名共同成功 285 个、共同失败 51 个，真正能把它们拉开差距的实例只剩 164 个。你花几万美刀跑一轮评测，最后买到的区分度是零。