机器人怎么学会拧瓶盖。
简单说,得有人手把手教。一个人坐在那儿摇操作杆,把这一遍动作录下来。论文里管这个人叫 teleoperator,遥操作员。
这活一直很贵。贵在人,贵在机器人得停机等人。
这周 arXiv 上挂了一篇,想干的事就一件:把摇操作杆的这个人,换成一个会写代码的 LLM agent。
论文叫 PyRUA-DataFarm,机器人学分类,11 月 3 号提交,14 个作者,22 页。这些数字没什么好说的,先放这儿。
我想说的只有一条。示范数据的成本结构被人动了一下,动完之后,贵的那部分不再是机器。
它干的不是采数据,是搭一个假现场
流程是这样的。给 agent 一份数据需求,外加在目标场景里对这台机器人做一次标定。就这些。
剩下它自己来。在仿真里重建任务,自己写场景,自己写专家控制器,自己写成功判定器。
仿真器提供精确的动作真值。一个以真实图像为条件的视频生成模型,把每一遍推演渲染成看着像真的画面。多机位是一起生成的,不是分别渲染再拼,所以视角之间对得上。
出来的东西直接能用。带机器人动作标签,时间同步的多路相机视角。策略就在这些数据上训,训完直接上真机。
整套流程里人只出现一次,就是那次标定。
评审模块才是命门
我不太关心它渲染得多好看。
我关心的是怎么知道这一遍是对的。仿真里跑通了,不代表真机上能跑通,更不代表这个"跑通"是真跑通,还是判定器写松了。
他们的做法是加一道独立评审。数据被收下之前,先验专家控制器,再一个个回合审核渲染出来的画面。
这道关卡听着不新鲜。但它是整套东西能不能算数的前提。没有它,前面全是自娱自乐。
93 比 84 不是重点
五个真实任务,100 次试验。农场数据训出来的策略成功 93 次,同等数量遥操作回合训的 84 次。
这个差距在机器人领域说实话不算什么。样本也不算大。
重点在下一组。
训练里没出现过的桌布图案,加上没出现过的彩色光照。农场数据训的策略成功 87 次。遥操作数据训的,掉到 46 次。
这个数字该怎么读,我不是很确定。但它至少指向一件事。真机采的数据,多样性受限于你搭了几个场。渲染出来的数据,多样性受限于你敢让生成模型变多少。
后者天花板高得多。
账单
这部分最该拎出来。
一次性任务适配,平均 21 美元的 API 费用,加 5 美元的渲染合约费用。之后每多一个回合,仿真、渲染、审核加起来 0.80 美元。
折成一小时三视角的数据,一个任务大概 107 美元。论文给的对照是中国遥操作约 117 美元,北美光人力就约 290 美元。
跟国内那档比,107 对 117,几乎没差。
所以账不能只看这个数。那 107 美元里,没有一分钱是付给人的时间,机器人也不用停机。
遥操作的真实成本从来不是那一小时工资,是这一小时里机器被占着,人也得在。农场这套东西可以晚上跑,跑到天亮。白天机器人该干嘛干嘛。
我还没吃透的那部分
渲染出来的"没见过的条件",本质上是视频生成模型自己吐出来的分布,不是世界给的分布。
自己出题,自己考自己。87 这个数字里有多少是真的更鲁棒,有多少只是"更像它自己",我说不清。
这条先放这儿。等我搞明白再补一句。
有人读过原文、愿意回来给我讲讲的,更欢迎。
留给普通人的
这篇东西离普通人挺远。你手里没有机器人,这套流程跑不了。
但它的路子不新。把一件原来必须有人盯着的活,拆成"把需求写清楚"和"搭一个能自我验证的环境"两半,剩下交给 agent 跑。
这个思路不需要机器人也能用。
门槛在降这件事我提过不止一次。降的方式往往不是工具突然变聪明了,是某一段人工被重新定了价。
本周就这些。
上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。
