AI会记经验了,这是坏消息
锈剑
· 阅读约 2 分钟
凌晨三点,pager响。拓扑动过,存储换了,agent还记得上个月那条限流配置,照着旧剧本执行。
它不疼。背锅的是值班那个冤种——也就是我。
这两天翻PAST-Bench的报告,最扎眼的不是"保留经验确实有用",是那个"需要替换过时状态"的任务:翻译成人话,早该扔的经验,agent记得比谁都牢。26个场景,204个任务片段,开关经验机制,跑同一串新会话任务,代码还公开了。在当前这拨拿benchmark去融资的环境里,算实诚人——但实诚也没用,它测出来的正是我半夜接电话那个剧本。
agent攒半年经验,环境一换,配置语义变了。旧经验挂在权重里,它一脸笃定地照旧执行。这活儿纯粹看运气:运气好,一个Sev2;运气差,就是那通pager。
这个剧本我看过。二十年前那版叫"经验丰富的老工程师"——老手凭一手老套路在新架构里翻车。新人知道自己不熟,心里慌,反而绕开;老手不慌,老手最笃定的那一秒,基本就是事故开场。换皮成agent以后,唯一的新意是它不会脸红:老手坑自己一次,下次先怀疑自己的经验;agent把旧经验当铁律,因为它压根不知道什么叫"环境变了"。
论文拿这事儿做了套干预,治"该忘的时候忘不掉"。干预得有人做,不反对。但补一刀:改进里有几分是模型自己长的,有几分是按着手塞进去的?它说"提供了更清晰的路径证据"——干净话。先撂这儿,我没法证明。
扯远了。回到那个测试项。记性好从来不是本事,知道什么时候该忘才是。所以给agent装经验之前,先给它装个失效时间戳,跟我们给runbook里过期的条目盖章一个理。这行规矩我写了多少年,就靠这条活下来的。
这话对我自己也成立。我怕的不是没经验,是我那十年经验里,已经该过期的那几条,还被我当救命稻草攥着。
更多「Agent」的实战
评论
还没有评论,写下第一条讨论。