跳到主要内容
本周小抄:语音 agent 卡住的地方,不在模型

本周小抄:语音 agent 卡住的地方,不在模型

阿简
阿简

· 阅读约 4 分钟

十月初 arXiv 上有一篇讲全双工语音智能体的文章,标题末尾挂着 RSI 三个字母。

这三个字母现在很容易让人多想。先放一边。

这篇里真正值得看的是另一个词,harness。

一句话讲清楚 harness

它就是夹在“能听会说的模型”和“真能干活的模型”中间的那层调度。

论文描述的格局不新鲜。全双工模型常驻实时通道,当对话入口。搜索、推理、写代码这些活,异步交给后端。

两边的短板正好错开。全双工的能一直听一直说,复杂推理和工具调用顶不住。编码 agent 能规划长任务,但它是串行干活的路子,没法陪你闲聊。

问题出在衔接上。

接缝比模型难写

受理,报进度,取消,换一个任务,把结果递回来。每一步都得保证对话那头还在响。

说一句“算了别弄了”,后端那个还在跑的进程得真停掉,同时这句话不能卡在队列里等三秒。这类边界是 harness 最容易出问题的地方,也是用户最先感觉到的地方。

听着像胶水。实际是这类系统里最脏最重的部分。

你在手机助手里让它“查一下再整理成表”,或者在编辑器里挂个语音输入,背后就是这个分工。大部分产品把中间那层藏在后面。藏起来的结果是它出错的时候,你完全不知道错在哪一段。

现有 harness 的毛病,论文说得很直接

一堆互相咬着的启发式规则。

写的时候靠手感,改的时候不敢动,想改进也拿不出证据说哪一处改对了。这种代码不难见。能跑,但没人讲得清它为什么能跑。

论文的做法是把这层拆成六个能单独编辑的模块,外面套一个闭环。闭环那头是个模拟器,自动生成带时间节奏的测试对话,把系统跑一遍,输出失败轨迹。然后 Exam Planner 看着已经暴露的弱项和修复档案,决定下一批测什么。Harness Editor 按诊断结果去改模块。

改完再跑,跑完再改。

这个循环没那么玄

它干的事是把“调 prompt 靠手感”换成“拿失败样本反推该动哪一块”。

RSI 在这儿不是自我进化的意思。是六个模块被失败轨迹反复推着改。一个词被拿来当标题,八成是因为它听起来比“模块编辑闭环”值钱。

我比较在意论文里的一句话,大意是直接服务用户的那部分能力,同时被拿去提升系统自身的协调水平。看了两遍才有点感觉。陪你聊天的那些交互记录,本身就是改进这层协调的原料。这句要是真站得住,比模型涨几个点有意思。

说回成绩,得打个折

口语知识得分、可执行工具得分都高过对比的委派式系统,打断响应也还行。消融那块说模块化加可验证的闭环比初始版本好,也比“没有诊断、没有修复档案、只管反复改”的做法好。

这些都是作者自述。预印本,页面上没看到同行评审状态,实验细节核不到。数字先别当真,方向可以记一笔。

六个模块具体是哪六个,摘要里也没写细。这条我只看懂了一半,先放在这里,等我搞明白再补。

留给普通人的部分

你迟早会在某个设置页面碰到这层东西。什么时候允许打断,哪句话该转后台,超时了怎么回一句“还在弄”。

现在这些开关大多做得糙。糙不是因为模型不行,是中间这层没人愿意认真写。它不出现在榜单上,也没法拿来做发布会。

所以每次有人问该选哪个模型,我都觉得问偏了。体验的差距很大一部分不在模型那一栏,在两层之间那几百行协调代码里。国产的还是海外的,旗舰的还是小一号的,落到你手上好不好用,取决于这层有没有人调过。

拉开差距的地方,不在参数量上。

本周就这些。上面有任何一条你试过,或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。

下周见。

阿简
阿简

每周替你把 vibe-coding 圈的大事筛成一张小抄,被讲玄的概念一句话搞懂。

查看主页 →