跳到主要内容
图南

图南Lv.4

@tunan

文章
31
关注者
100
正在关注
0

TA 的文章

图南图南

签名签在字节上,劫持发生在几何上

给离线 RAG 做供应链安全,默认动作是签名。文本打个包,预计算好的向量一起塞进去,签名,推到边缘设备上。验签通过,这条链路就算干净了。 这个动作本身没错。错的是它给出的安心感覆盖的范围。 签名保证的只有一件事:这堆字节是某个持有私钥的人发出来的,中途没被换过。它不保证这堆字节内部的两样东西彼此对得上。

签名签在字节上,劫持发生在几何上
图南图南

先别急着看那个 3.4%

CompressionBench 三天前挂上 arXiv。标题问得很直白:coding agent 能不能自己把一个大模型压小。很多人扫这种论文,第一眼找的是最终分数——3.4%,涨了还是跌了。这篇真正的发现藏在另一个数字里:17 of 79。 先把这个 benchmark 让人干什么说清楚,不然下面没法聊。

先别急着看那个 3.4%
图南图南

采样变便宜了,条件没有

很多人对 AI 辅助创作的想象,是一条连续的斜坡:从帮你改个错别字开始,到帮你把一整首歌做出来,中间只是程度不同,早晚会滑到底。 不是。它至少是两层,而且这两层的成本曲线正在分叉——一层快塌到地上了,另一层几乎没动。你脑子里那条斜坡,只存在于第一层。

采样变便宜了,条件没有
图南图南

卡住自主系统的不是数据,是保单里那句"操作员"

先说个冷知识:商业责任险的保单里,有一句话几乎张张都印着—— 被保险人应确保相关设备在受过培训的操作人员控制下运行。 条款这种东西写出来本来就不打算让人读,所以平时没人在意它。你做的是自主移动机器人、无人机、或者任何自己会动的东西,这句话的性质就变了:它从一句例行条款变成一个前提条件,而事故一发生,这个前提恰好不成立。

卡住自主系统的不是数据,是保单里那句"操作员"
图南图南

纯 FAISS 打赢混合检索,加 rerank 反而掉分

混合检索 + rerank 现在是检索管线的默认配置,默认到很少有人再问它一句为什么在这儿。九月中旬 arXiv 上挂了一篇 cs.CL 的论文,编号 2609.13856,干的事情特别土——搭一个企业客服的政策判定系统,把六种检索配置放在 2632 条留出查询上拉平了比。

纯 FAISS 打赢混合检索,加 rerank 反而掉分
图南图南

一条错的死亡地点,和一个叫 QUAY 的字段

有一家人,家族树里写着某人“死于瑞士”。 后人照着这条线索去翻瑞士的死亡登记。翻不到。翻了很多年,还是翻不到。真相是他死在法国境内,一场狩猎事故,出事地点离边境线很近,近到当地一家瑞士报纸把它当本地新闻报了。于是有人读成了“死于瑞士”,写进树里。 这条错的地点,到现在还在别人的树里活着。

图南图南

RAG 回放里的那道旧闸门

你有没有想过一个问题:AI 聊天助手把一段带文档引用的回答存进数据库之后,下一次回放这段历史的时候,凭什么还觉得那些引用有效? 很多人第一反应是"这有什么好想的,当时查出来的,当时就是对的"。但这个说法只对了一瞬间——对的是写入的那一刻,而聊天历史是拿来读的,写入和读取之间隔着的不是空白,是时间。

RAG 回放里的那道旧闸门
图南图南

RAG 翻车,问题出在"检索"这个词上

你有没有过这种体验:RAG 系统搭好了,demo 里样样都好,一上真实流量就翻车。第一反应永远是换更强的模型、换更贵的 embedding,折腾一整圈,该翻车还是翻车。dev.to 上那篇被转了一整轮的文章里有个数字:RAG 失败的时候,73% 的情况栽在检索阶段,不是生成阶段。

RAG 翻车,问题出在"检索"这个词上