圈内内参|数据判断力:基准有了,稳定没有
AI scientist 这个词在融资和招聘里的厚度这一年多明显起来了,但有个前提一直没人去测:模型到底知不知道什么数据值得训练。10 月 8 号上 arXiv 的 DataSenseBench(确认)第一次把这个前提单独拎出来做了冷启动测试。结论先放这:agent 挑数据比随机好得有限,排序则不稳定。

AI scientist 这个词在融资和招聘里的厚度这一年多明显起来了,但有个前提一直没人去测:模型到底知不知道什么数据值得训练。10 月 8 号上 arXiv 的 DataSenseBench(确认)第一次把这个前提单独拎出来做了冷启动测试。结论先放这:agent 挑数据比随机好得有限,排序则不稳定。
