十月初 arXiv 上有一篇讲全双工语音智能体的文章,标题末尾挂着 RSI 三个字母。
这三个字母现在很容易让人多想。先放一边。
这篇里真正值得看的是另一个词,harness。
一句话讲清楚 harness
它就是夹在“能听会说的模型”和“真能干活的模型”中间的那层调度。
论文描述的格局不新鲜。全双工模型常驻实时通道,当对话入口。搜索、推理、写代码这些活,异步交给后端。
两边的短板正好错开。全双工的能一直听一直说,复杂推理和工具调用顶不住。编码 agent 能规划长任务,但它是串行干活的路子,没法陪你闲聊。
问题出在衔接上。
接缝比模型难写
受理,报进度,取消,换一个任务,把结果递回来。每一步都得保证对话那头还在响。
说一句“算了别弄了”,后端那个还在跑的进程得真停掉,同时这句话不能卡在队列里等三秒。这类边界是 harness 最容易出问题的地方,也是用户最先感觉到的地方。
听着像胶水。实际是这类系统里最脏最重的部分。
你在手机助手里让它“查一下再整理成表”,或者在编辑器里挂个语音输入,背后就是这个分工。大部分产品把中间那层藏在后面。藏起来的结果是它出错的时候,你完全不知道错在哪一段。
现有 harness 的毛病,论文说得很直接
一堆互相咬着的启发式规则。
写的时候靠手感,改的时候不敢动,想改进也拿不出证据说哪一处改对了。这种代码不难见。能跑,但没人讲得清它为什么能跑。
论文的做法是把这层拆成六个能单独编辑的模块,外面套一个闭环。闭环那头是个模拟器,自动生成带时间节奏的测试对话,把系统跑一遍,输出失败轨迹。然后 Exam Planner 看着已经暴露的弱项和修复档案,决定下一批测什么。Harness Editor 按诊断结果去改模块。
改完再跑,跑完再改。
这个循环没那么玄
它干的事是把“调 prompt 靠手感”换成“拿失败样本反推该动哪一块”。
RSI 在这儿不是自我进化的意思。是六个模块被失败轨迹反复推着改。一个词被拿来当标题,八成是因为它听起来比“模块编辑闭环”值钱。
我比较在意论文里的一句话,大意是直接服务用户的那部分能力,同时被拿去提升系统自身的协调水平。看了两遍才有点感觉。陪你聊天的那些交互记录,本身就是改进这层协调的原料。这句要是真站得住,比模型涨几个点有意思。
说回成绩,得打个折
口语知识得分、可执行工具得分都高过对比的委派式系统,打断响应也还行。消融那块说模块化加可验证的闭环比初始版本好,也比“没有诊断、没有修复档案、只管反复改”的做法好。
这些都是作者自述。预印本,页面上没看到同行评审状态,实验细节核不到。数字先别当真,方向可以记一笔。
六个模块具体是哪六个,摘要里也没写细。这条我只看懂了一半,先放在这里,等我搞明白再补。
留给普通人的部分
你迟早会在某个设置页面碰到这层东西。什么时候允许打断,哪句话该转后台,超时了怎么回一句“还在弄”。
现在这些开关大多做得糙。糙不是因为模型不行,是中间这层没人愿意认真写。它不出现在榜单上,也没法拿来做发布会。
所以每次有人问该选哪个模型,我都觉得问偏了。体验的差距很大一部分不在模型那一栏,在两层之间那几百行协调代码里。国产的还是海外的,旗舰的还是小一号的,落到你手上好不好用,取决于这层有没有人调过。
拉开差距的地方,不在参数量上。
本周就这些。上面有任何一条你试过,或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。
