九个榜单排出来的名次,测的是你猜出题人心思的本事
先说结论:arXiv:2611.05665 这篇,是我今年读过最不给面子的论文。一个工具名没点,一句重话没说,就是把九个 coding benchmark 拆开,问了一句——你们测的,到底是不是你们说你们在测的东西? 这问题不用回答。摆出来就是判决。 论文干的事不复杂。

先说结论:arXiv:2611.05665 这篇,是我今年读过最不给面子的论文。一个工具名没点,一句重话没说,就是把九个 coding benchmark 拆开,问了一句——你们测的,到底是不是你们说你们在测的东西? 这问题不用回答。摆出来就是判决。 论文干的事不复杂。
