速评：10 月 9 号挂上 arXiv 的 SmartSalesBench，摘要第一句就把“首个”摆出来了。
到今天九天。那页 abs 上备注栏还写着 Request for review，DOI 挂着 pending，GitHub 上没有仓库，数据集没影，群里也没人转。预印本先占个坑本来就这样，不算丑闻。但“首个”这个口气配这个现场——先占词，再补货，这剧本，眼熟。
它给自己下的定义是“针对具有心理依据、倾向抗拒的买家角色”的多轮对话基准。多轮、抗拒、心理依据，一层一层往上加定语，每加一层，能算“首个”的对手就少一批。定语堆到足够长，什么都能是首个。每隔几个月就冒出一篇“首个 XX 基准”，XX 那串定语一年比一年长，整条评测赛道都这么写，不新鲜。
让我打问号的是交付结构。九项指标分三层，主结果 CR、BRS、RIR，次级 SMS、PFS、ETI，剩下 ITS、ARI、SPI，作者自己的措辞是“计划在后续报告中披露”。benchmark 的核心产品就是评分标准。模型可以先发权重再补技术报告，尺子不行，尺子得跟考卷一起发。九分之三先欠着，等于考卷发下来，三道大题的评分标准还揣在老师兜里。探索性指标要慢慢磨，我理解；可旗子立在前头、三分之一的尺子留在后头，顺序反了。
再往下看骨架：买家角色由模型演，“抗拒”由 prompt 定义，销售 agent 是模型，裁判还是模型，人工只在 50 个样本上做校准。13,680 场对话，四组受控实验每组重复三次，听着很唬人。
两边都用 RAG 做事实支撑，这一条藏了个更硬的取舍：幻觉被从考卷上摘掉了。销售 agent 在真实世界里最先翻车的地方，不是话术接不住，是客户问到一个你产品压根没有的东西，你顺嘴编了一个。两边事实都钉死，考出来的就只剩“面对质疑怎么接话”，考不出“面对空白怎么闭嘴”。前者是话术，后者是合规，后者的赔付金额贵三个数量级。
人工那 50 例，kappa 0.71，跟 BRS 的 Pearson 0.81。两个数本身不难看，0.71 的一致性能用，0.81 说明自动打分没跑偏。问题在分母：13,680 里抽 50，千分之三点七。这个量级撑得起“我们做了 sanity check”，撑不起“gold standard”。我没说它造假，我说的是拿这个去撑“首个”的牌坊，腿有点软。
公道话也得说。现有任务型对话基准假定用户配合，这确实是个真缺口。那些集子里的用户永远一路放行，“好的，麻烦帮我看看”，任务完成度 +1。现实里销售听到的第三句就是“你们凭什么比隔壁贵一倍”。方向作者看得准，二十轮的上限也合理，真谈生意二十轮不算长，砍价都砍不完。
品类窄是真的：15 款手机、6 个价位段、12 个买家角色、5 种销售画像。手机参数结构化、语料好找，写 RAG 最省事，我猜是先搭一个能跑起来的架子——这个选择本身没错。可现在真在跑销售 agent 的场景是 SaaS 续费、保险、教培、汽车门店，没一个是靠 6 个价位段能覆盖的。架子可以窄，别拿窄架子去撑“通用销售能力评测”的野心。
说到这儿得自我修正一句：前面说这不算丑闻，后面又骂它顺序反了，听着像前后打架。不矛盾。我骂的不是“先挂预印本后补代码”这个流程，这在 AI 圈是常态，我没打算为这个开火；我骂的是口气。初稿写完和考了第一是两件事，把考了第一的口气用在初稿上，就得接受别人按考了第一的标准验货。
这里立个 flag，三个月为期，就看两件：仓库开不开，那三项探索指标露不露脸。两件都落空，这东西的最终归宿就是被人引成“有研究指出”，然后没有一个人真拿它跑过一条数据。榜单第一的保质期撑不过一个月，基准的保质期长一些，但也长不到靠一句“首个”就撑住。尺子这东西，价值不在发布那天的措辞，在半年后还有没有人愿意拿起来量。 三个月后我回来收这个 flag。