AI scientist 这个词在融资和招聘里的厚度这一年多明显起来了，但有个前提一直没人去测：模型到底知不知道什么数据值得训练。10 月 8 号上 arXiv 的 DataSense-Bench（确认）第一次把这个前提单独拎出来做了冷启动测试。结论先放这：agent 挑数据比随机好得有限，排序则不稳定。事实层全部来自 arXiv 公开文档（确认），没有作者访谈，没有内部数据；后文自己推演的部分标成"分析"或"观点"。
数据选择这个活在大模型训练管线里重新变成了关键角色——合成数据、轨迹数据、筛选再用，这套流程越来越依赖一个"谁来判断数据好坏"的位置。以前这个位置是人，更准确一点，是写过滤规则的人一点点堆出来的经验。现在换 agent 坐这里，看数据、筛数据、候选打分，它有没有稳定判断力，直接影响整条训练管线。
DataSense-Bench 做的就是让 agent 检查数据、执行分析代码、跑模型前向传播——自己建一个判断信息的基础。不能训练模型，也不能看真实评测任务。论文的设计核心就是把这个"不能"刻意留出来，只留一个冷判断场景：你只能看数据，自己决定什么值得、什么不值得。agent 要从一堆候选子集里挑出用于微调小型 LLM 的部分，还得给出排序。这个限制乍一看像出题，实际并不人为——很多数据筛选流程里前向推理和统计特征占绝大多数，训练是事后验。一旦训练和评估补上来，就有了后验，agent 最早那个"选择动作"的真实质量会被盖过去。这篇论文把后验单独拆出去，让动作自己说话。
什么叫"判断力"？至少最基础的意思：你在看不到最终结果的时候，能对中间材料的好赖形成稳定预期。一定要看到结果才知道好坏，那叫试错，不叫判断。这个限制比跑分重要。
基准覆盖两类场景：终端问题求解和工具使用。数据来源是 OpenThoughts-Agent 和 EnvScaler，评测落在 TBLite 和 BFCL。两类任务在 agent 世界里生态不同——终端求解更杂、推理链长、多步依赖复杂；工具使用动作边界明确、数据格式规整。
测两个维度：最优子集排名（能不能找出最佳数据组）和排序准确率（能不能预判不同子集间的相对表现）。找到最好的那一组，多试几次总有一次蒙对。排序准确率才是判断力的试金石，它要你有一个稳定的比较函数：A 比 B 好，B 比 C 好，这个顺序不能靠猜。多臂老虎机都栽在这一点上：找到最好的臂不稀奇，一直正确比较臂和臂的差距才要命。
（分析）顶层子集在微调后有时能提升性能，但相对随机选择增益有限；排序更明显，agent 没法对自己选的子集给出可靠排序。它可能使用了一些信号，但这些信号跟最终训练收益之间没有稳定关系——看着像"有理由地选"，理由跟结果之间却不挂钩。
有个细节比总分数值钱：所有被评的 agent 里，Astra 在工具使用线路上表现很好，三次运行三次都找到最佳数据组；换到终端问题求解，三次只成功一次。同一套评审、同一类方法，任务形态不同，稳定性差距就这么大。这不是"有时候行有时候不行"的随机失败，而是判断力本身没有跨任务形成可迁移的结构。3/3 和 1/3 这种对比一旦看到，就很难再把它当稳定可靠的"数据鉴赏能力"看。
执行轨迹分析还有一刀：agent 经常使用相似的数据信号，但对信号的训练价值给出不同解读。问题不出在"有没有看见数据"——它看见了，看的东西都差不多；问题在"看见之后怎么赋值"。同一个信号在不同任务上得到不同的价值判断。一个真正有判断力的系统，面对同一种信号可以给出差异化判断，但得有一致的原则；这里没有迹象表明存在那个一致原则。它就是凭某种不透明的经验在打分。
论文管自己的路径叫 "The First Step Toward an AI Scientist"。"First Step" 和 "AI Scientist" 都给得有点早，但价值不在标题：它把一个远得抽象的问题拉回成可测量的具体事——你能不能从一堆数据里认出更好用的部分。这本就是很多科学工作最底层的行为之一。这一层还摇摇晃晃，谈什么 scientist。
据我了解到的情况，一些在搭 agent 数据流水线的团队，这个环节已经交给 agent 了，人只是偶尔抽查。（未证实）这个说法暂时只有几个搭数据管线的工程师的模糊反馈撑着：agent 被放进数据筛选的前置环节，趋势存在，具体范围多大我没有更大规模调查去支撑。潜在风险是：agent 选得不好，后面微调出来的性能不会立刻崩，更常见的是整条线"比随机好一点但远不如有经验的人"，差距被后续 prompt、规则、抽查补掉。补丁堆够多，人就分不清 agent 自己的判断力到底贡献了多少。
把论文"agent 判断力很有限"的事实和这个趋势拼起来，出来的工作流现实有点不舒服：一个最需要稳定判断力的环节，正被一个判断力不稳定的部件接管。我不下它会改善还是恶化的注——那不是我写的东西。我只记录当下：有一个公开测试证明了它不稳（确认），同时行业里相当数量的团队已经把它当能用但不好验证的东西在流转（观察）。
写这期的时候我想核对一个点：不同 agent 做选择时拿到的观测条件是不是同一级别。如果论文给不同 agent 不同信息，比较就不公平；统一了，Astra 的 3/3 和 1/3 才有意义。arXiv 公开材料没有给足细节，标未证实。我的倾向是相信它做了统一（否则基准设计有点基础问题），但等代码和项目主页完整放出来再下判断。留个尾巴，代码公开如果有意义，补上。
几个值得盯的信号，不下注，只列出来一起看：
一、DataSense-Bench 代码和项目主页完整公开后，能不能复现 Astra 在工具使用任务上的 3/3。如果那只是特定运行条件下的结果，这个细节会很重。
二、DOI 注册状态现在还是待完成（确认）。它一旦进入公开引用链，看第一批引用它的人把它当什么用：是"数据选择已可解决"的证据，还是"数据选择是当前瓶颈"的证据。
三、有没有后续工作把"不能训练、不能看真实评测任务"这个限制改掉。如果允许更多反馈后，agent 排序准度大幅提高，瓶颈在信息不充分；如果提高有限，瓶颈在它自己的判断能力。
四、有没有人对"同一类信号、不同解读"做正式分析。这个现象才是整篇论文里最值得盘的地方。
有更接近内部训练流程的一手信源愿意匿名聊聊 agent 在数据筛选里的真实水平，欢迎继续给我发线索。