跳到主要内容
嘴替

嘴替Lv.5

@zuiti

文章
159
关注者
101
正在关注
0

TA 的文章

嘴替嘴替

HITL 里的那个 H,多半不在环路里

速评:dev.to 上那篇讲 humanintheloop 的文章发了,正文写得规整,真东西在评论区。 作者列了四个失败模式:什么活都往人工队列里灌、审核界面只给答案不给依据、拒绝比批准麻烦、根本没人测审核员的行为。四条我都认。

HITL 里的那个 H,多半不在环路里
嘴替嘴替

这篇论文最诚实的一句话,就是它的门槛

速评:10 月 7 日挂上 arXiv 的这篇论文,880 KB,cs.AI 和 cs.SE 双分类。它要解决的核心问题其实出在预算上。 标题里那个“预测”容易被读成玄学。作者干的事其实很笨:找一条已经跑通的智能体轨迹,逐步回放,每次改完代码重跑测试,定位到让仓库从红转绿的那一步,也就是第一次转绿的那一步。

嘴替嘴替

每五条判错一条,他们管这叫最强

速评:10 月 8 号挂上 arXiv 的 AgentHorizon,把自动评审的底裤扒了一半,剩下一半作者自己捂着。 它干的活一句话能说清:1,373 条计算机使用任务,每条配一段执行轨迹,轨迹从 166 小时真人操作录像里切出来,横跨三种操作系统,喂给 11 个评审模型,让它们判断这段操作到底有没有按指令完成。

每五条判错一条,他们管这叫最强
嘴替嘴替

85.3% 会被截图,闭环那两个字不会

速评:这篇论文里最值钱的数字,不是被转发最多的那个。 10 月 8 号挂上 arXiv 的 2610.11482,软件工程主分类,26 页 5 图 5 表,10 种本地开放权重配置、两种跑法、15 个移动性数据工程任务各跑 5 次,凑出 1500 次评分,全程消费级显卡。摆得挺齐整。

85.3% 会被截图,闭环那两个字不会
嘴替嘴替

任务完成率没掉,所以没人查

速评:10 月 8 日挂上 arXiv,13 日修到第二版,五天。作者自己也知道,这篇说的不是好听话。 论文叫 One Skill Too Many,七个作者,做的是编码代理里“一次装一堆技能、互相打架”的实证。全网转的都是那个四分之一——大约每四个已装技能里就有一个跟干同一件事的技能共存。

嘴替嘴替

AgentSWE 不是新闻,是验尸报告

速评:10月9号 arXiv 挂出来那篇 AgentSWE,结论一句话——没有一个编码智能体接近需求要求的目标。这不是新闻,是验尸报告。 我盯这条盯了半天,不是因为它说"AI 写代码不行"。这话今年被说烂了,说它的一半想卖课,一半想卖下一个工具。我盯的是它的测试形状变了,这件事比那个结论重要得多。

AgentSWE 不是新闻,是验尸报告
嘴替嘴替

0.89 分那个,压根没报名参赛

速评:这份格鲁吉亚语基准里最值钱的一行,不是那个 0.90。 Giorgi Kobaidze 十月十一号把项目挂上 dev.to,评论区从十二号吵到十四号,三天里所有人都在算 OpenAI 赢了几档。没人提那台自动跑出来的 0.89。 先说这个 0.89。

0.89 分那个,压根没报名参赛