速评：这份格鲁吉亚语基准里最值钱的一行，不是那个 0.90。
Giorgi Kobaidze 十月十一号把项目挂上 dev.to，评论区从十二号吵到十四号，三天里所有人都在算 OpenAI 赢了几档。没人提那台自动跑出来的 0.89。
先说这个 0.89。作者交代得很清楚：Kaggle 每次你推一个新版本的任务，它都拿默认的 Gemini 3.7 Flash 自动跑一遍，还收钱，单次 0.45 到 1.00 美元，累计接近 3 美元——比他自己最终那轮正式比较花的 4.63 美元的一半还多。而这台被迫营业的机器顺手打出来的平均分是 0.89，只输给 GPT-6 Astra 的 0.90，把 Claude Opus 5 的 0.82、Opus 4.8 的 0.75、GPT-5.5 的 0.74 全按住了。
一个没被编进四档配对、没人给它调提示词、连"别思考"都只是顺手设了一下的模型，干掉了八个正式选手里的七个。这不是 Gemini 强，是这份榜单一开始就不该被当榜单读。我要是作者，这行早该加粗，结果它连个正式席位都没混上。
然后说分差。作者自己写了，每个模型只跑一次，重跑波动大概 ±0.03。Newest 档 0.90 对 0.82，差 0.08，勉强在两倍波动之外，我认；Top 档 0.75 对 0.74，差 0.01，这个数在一半的波动幅度以内。可以预见的稿子会怎么写，我都能替他们打出来——四档里 OpenAI 拿下三档。第三档是掷硬币掷出来的。
而且这两档本来就不该直接比。GPT-6 Astra 压根不接受关闭思考，只给 low、medium、high、xhigh 四档；作者为了对齐，把 Claude Opus 5 也一起设成了 low，仪表盘上给它们俩各打了一个 ⚡/LOW。所以"最新档"那栏的分数里，混着一个别人没有的思考预算。这里我认为最该抄下来的是作者自己下的那句判断：对格鲁吉亚语这种语言，思考机制可能比模型规模更重要——榜上最好的两个，都是开着 low 思考的。
再说那 77 万个看不见的 token。
某次测试，251 个问题，模型在背后写了约 77 万隐藏推理 token；GPT-5.5 为一道单字母选择题，写了约 750 个。作者后来让所有模型关掉思考直接回答，整轮成本掉了 99%——顺手也让八家的条件终于站到了同一条线上。99% 这个数比任何一档的分数都狠。报价单是按可见输出算的，模型在你看不见的地方跑了多少，你不付钱的时候不会知道，付钱的时候也未必看得懂。写基准的人踩到这个坑是因为他得对账，普通用户踩不到，不是没踩，是没人把账单摊开给他们看。
紧接着是同一段格鲁吉亚语，两家长得不一样的账单。数字任务，Claude 那边输入 272 个 token，GPT 那边 104；填空 1412 对 699；整体差 2 到 2.6 倍。作者猜一半在厂商塞的答案格式指令上，一半在 tokenizer 怎么切格鲁吉亚字母上。这两半各占多少我猜不出来，也不打算猜。
但结论是硬的：同一道题、同一个分数，两家的成本能差出一倍多，而这段差距跟语言能力一毛钱关系都没有。
再往下就是每个正确答案的单价。GPT-5.4 mini 0.03 美分，Claude Opus 5 是 0.55，十七倍；GPT-6 Astra 0.67，二十一倍。四档对决胜者，前三档全是更便宜的那边——GPT-5.4 mini 0.60 对 0.48 且成本约一半，GPT-5.4 0.71 对 0.62 也约半价。唯一一档贵的赢了，就是开低思考那档。0.90 和 0.60 之间隔的，是二十一张同样的钞票。
还有个更少人愿意提的事：这份基准的形状，是 Kaggle 的结算规则捏出来的。最初计划 41 个模型、9 个维度、345 美元；Kaggle 每个账号每天只给 10 美元且不能充值，于是砍到 8 个模型、5 个维度。砍掉的是视觉、谚语、日期时间、语法判断，还有一个已经做完的 45 项拉丁字母聊天式任务——全套未裁的还躺在仓库的 archive 里。所以你看到的这五个维度，不是"格鲁吉亚语最该测的五个维度"，是"每天 10 美元能跑完的五个维度"。这不是黑作者，是提醒所有打算拿它去选型的人：一份被预算削过的题库，它的分数排序也是被削过的。
公平地说，这活儿干得比我见过的大多数大厂基准细。失败调用会被当成错误答案，额度耗尽时能凭空生出一个很差的模型，他就给每个任务加了守卫——重试三次还挂的算错，失败比例超过 5% 整个任务停报，不报分。用廉价探针筛题时只留探针做错的那些，还特意保留一部分它做对的，防止筛选本身带偏。仪表盘是脚本直接从运行文件生成的静态 HTML，所以"文章里写的数和页面上显示的数对不上"这种事，在他这儿不会发生。社区里有人担心探针的盲区会变成这份基准的天花板，作者的回应是留了做对的题——这个回应是对的，但补不了票，你怎么补，天花板还是那根探针的高度。
顺手说一句翻译题。十二段含习语和难动词的短文，评分交给固定的 Gemini 3 Flash 按五档打，还专门交代评委：原文没显示性别时 he、she、they 都算对。结果八个模型全落在 0.96 到 1.00。要么题太软，要么评委太宽松，两种解释都撑不起"格鲁吉亚语翻译已经解决了"这句话。反倒是一旦要生成——数字、动词变位、纠错——分数立刻塌：词到基数 0.74 到 0.96，词到序数 0.04 到 0.92，十的十五次方往上那段只剩 0.06 到 0.53，მე-40000 这种超大序数八个模型里两个答对。理解和生成之间那道缝，比榜首和榜尾之间的差距宽得多。
说到这儿得认一句自己的矛盾。我一边讲这份榜单不该当榜单读，一边把它的每一档分差抠到小数点后两位。理论上是同一篇文章里的两个立场，行动上是两种认真。人是矛盾的，评论员也是。
这里立个 flag。往后谁再拎一份个人开发者做的基准来给模型排座次，我先问三件事：自动触发跑出来的那轮算不算参赛成绩，隐藏推理的 token 有没有进成本表，这份题库的形状是被语言学砍的还是被每天的免费额度砍的。三个都答不上来，分数先别往通稿里写。