harness 演化到第五轮,SWE-Bench 从 94.0% 掉到 32.0%
11 月 2 号在 arXiv 上刷到一篇,编号 2611.03219,cs.SE 交叉 cs.AI,作者 Shangziqi Zhao、Yitong Zhang、Jia Li。
@abanana
把自己踩过的坑整理成一篇能复现的笔记,写给三个月前的自己看。
11 月 2 号在 arXiv 上刷到一篇,编号 2611.03219,cs.SE 交叉 cs.AI,作者 Shangziqi Zhao、Yitong Zhang、Jia Li。
上周末想把一个 GUI agent 的分数复现一遍,没跑通。不是模型的问题,是环境。 同一个站点,上午跑出来 41/50,下午同一个脚本跑出来 33/50。中间页面改版了,按钮挪了位置,我写死的那套选择器全废。剩下还能跑通的那一半,基本全是不用登录的浅层页面;
今天翻 cs.LG 的列表,看到 11 月 4 号挂上去的一篇,编号 2611.06542,标题是 EvoOPD: Evolving Privileged Information Strategies for BlackBox OnPolicy Distillation。

今天想确认一件事:glibc 把 fork 和 pthreadcreate 分别翻译成了什么。最省事的办法还是老一套,把 strace 挂上去,只看 clone 这一族调用: 在 Ubuntu 24.04 上跑一遍,两行输出并排摆着,差别特别扎眼。
半个月前 Daniel Nwaneri 在 dev.to 上发了个给 POS 代理操作员做的记账应用,我翻完把里面一组数字抄了下来: 一个八百多兆、跑在 WebGPU 上的模型,认款项类型输给了几行关键词规则;认客户姓名的时候,规则一条都没对。
今天翻到《纽约时报》那篇法国超市冷柜被攻击的报道,看完有点不舒服。原因并不是攻击有多高明,恰恰相反,攻击者干的那点活,跟我自己项目里最不想干的那部分是同一件事。

半个月前读 Ali Navidi 那篇 AI Stole Our Happy Place,读完其实没什么反应,倒是第二天早上打开终端,代理还没开工,我先按了个空回车。手指先动了,脑子还没动。 那篇写的事不复杂:以前写代码是能整个人沉进去的,像进了另一个世界,现实里的压力暂时够不着;

十天前翻到 dev.to 上 Harsh 那篇讲「AI 把写代码变便宜了,为什么软件交付还是贵」的文章,评论区我翻了两遍。他举的例子我印象很深:认证流程这种带数据库结构、API 路由和单测的活儿,三十秒能让 AI 生成一份;可另一个他自认为简单的功能,从动手到进生产走了三周。
10 月 20 号早上刷 arXiv 的 cs.SE 新提,看到这篇讲 MIMOSTools 工具链的文章(2610.27826),ASE 2026 的正式论文,会议 10 月 12 到 16 号在慕尼黑开完,论文比会晚了四天挂上来。

10 月 20 号挂上 arXiv 的 Evolving Agent Interfaces(2610.28601),我拖到昨天晚上才点开。

前几天翻 arXiv 的 cs.SE 新稿,看到 10 月 20 号挂上去的《Back Up Before You Regret》。标题起得挺重,真正让我停下来的是两个数字:86.1% 和 15.2%。 前者是六个前沿模型在 RegretBench 上的平均任务完成率。
上周三凌晨刷到一篇(arXiv:2610.29052,归在 cs.CL,顺手标了 cs.AI、cs.IR、cs.LG),本来是想看看省成本的路子,结果被一个 26.9% 别住了。 现在有一类判定,给定证据、一个问题、一组固定选项,要的不是一段话,而是每个选项的概率。

上周三翻 arXiv 的 cs.SE 新列表,标题里同时有 microservice 和 benchmark 的那篇,我点开先扫结论。看到 42.0% 那一行停了一会儿。不是因为这数低得离谱,是低得太合理了——脑子里立刻翻出几个改了半宿、功能测试全绿、profile 一跑曲线纹丝不动的 commit。

10 月 21 号挂到 arXiv 上的 2610.30292,52 页,19 幅图 14 张表,作者 Muheng Li 和 Wenlong Mou。GAV 是 GeneratorAgentVerifier 的缩写。我没从头读到尾,主要看了方法那一节和最后的结果表,理论分析那部分基本跳过去了。
前几天在 Claude Code 里让它帮我找一个 Mathlib 引理,我敲进去的大概是「filter 和 eventually 那个,单调有界最后收敛」。它来回查了好几轮才摸到对的地方。

这两天在 arXiv 的 cs.CL 列表里翻到一篇 10 月 22 号提交的论文,《From Structured Records to Patient Narratives: Preserving Clinical Alignment in LLMGenerated Health Summaries》,18 …

上个月月底跑一个小规模蒸馏实验,loss 前三十几步掉得挺像样,然后就贴着一条水平线走。我先怀疑 lr 调度写错了,翻出来看没事;又怀疑 dataloader 卡住,加日志看也正常;最后开始怀疑显存不够,悄悄降了 batch。折腾到半夜把训练日志一条条摊开,才发现参数几乎没动过——问题不是学得慢,是根本没在学。

前两天清自己的仓库列表,翻到二十几个就不太想往下翻了。一大半是 agent 陪着搭起来的,能跑,README 只有一个标题,然后就没再打开过。 开坑这事我戒不掉,也不太想戒——AI 进来之后,很多原来不敢碰的东西现在真的敢动手了,这部分收获是实打实的。
十月初在 dev.to 上读到 Mika Flowers 的一篇复盘。她写自己在 5 周里提交了 866 次,同时承认对代码的理解没跟上。文章是 10 月 3 日发的。里面有一句话我盯着看了挺久:她生产软件的能力,提升速度快于解释所生产软件的能力。 我第一反应不是羡慕那个提交数,是去翻自己项目的 git log。

十月四号在 dev.to 上刷到一个叫 OriginTrace 的项目,投的是 Sanity Challenge 的 Path One 赛道。作者的起点很朴素:他在 DEV.to 后台的流量来源里看到几个陌生站点,点进去发现自己的文章被整篇搬走了。
