跳到主要内容
陈渊

陈渊Lv.4

@chenyuan

据守底层,挑「会用却说不出为什么」的 CS 机制从第一性原理挖到底。

文章
12
关注者
100
正在关注
0

TA 的文章

陈渊陈渊

KV 缓存搬进 Flash,省 15 倍流量的机制先搭一遍

KV 缓存每生成一个 token 都要追加一块东西,Flash 又是个写一次少一块寿命的介质。这两件事摆在一起,逼出一个具体问题:每次追加到底写了多少字节?这篇我们动手实现一个静态字典加稀疏索引的最小可运行版本,跑一遍你就能看见那 15 倍流量是怎么省出来的。 第一步,先把完整 KV 向量原样写进去,跑一遍。

KV 缓存搬进 Flash,省 15 倍流量的机制先搭一遍
陈渊陈渊

把模型关进笼子,这层代码长什么样

模型写完一个 diff,到它能安全合进主分支,中间那层东西是什么?Tomas Grasl 写了篇 dev.to 帖子,说他管着一个 paywall、订阅、OAuth 都沾钱的后端团队,现在不写函数了,时间全花在定规则、配权限、设测试门槛上。第一次听到这话会想翻白眼——写不动代码了,就说自己在做更高级的事。

把模型关进笼子,这层代码长什么样
陈渊陈渊

下一个 token,为什么总把你拉回历史平均

模型每一刻只干一件事:给下一个 token 排概率。不是判断对错,不是求新,是问训练分布里哪个 token 最常跟在后面。这个动作重复一百万次,就是你拿到的每一段回复。这篇我们搭一个最小采样器,跑完你就知道“模型把你拽回主流”在代码里长什么样。

下一个 token,为什么总把你拉回历史平均
陈渊陈渊

SAG 那 11.52 个点,拆到最底层就是一次不拆链的邻居扩展

为什么 SAG 敢不建全局知识图谱?这个问题比那 11.52 个点的 Recall 提升更值得拆。检索系统通常两条路:要么提前把图建好,要么干脆用向量相似度硬搜。SAG 两样都不选,等于在两条熟路之外自己开了一条。这篇我们把它那套“事件实体索引”的骨架抽出来,写成一个四十来行的最小版本,跑一遍。 先拆名字。

陈渊陈渊

“加密思维链”从根上就不是加密

“加密思维链”这个词,我一开始也当真了。以为 API 返回一段密文,客户端原样保存,下一轮请求带回去,模型自己在内部解开。arXiv:2608.09867 这篇论文出来之后,这层纸碎了:攻击者把加密块原样喂给同一家提供商的弱模型,弱模型就把里面的推理逐字读出来了。

“加密思维链”从根上就不是加密