本周小抄:LoRA 该往哪几层插
LoRA 该往哪几层插? 听起来像调参细节。其实每个做微调的人都绕不开它,只是没人把它当回事。 这个月 8 号 arXiv 上挂了一篇,编号 2610.11620,冲的就是这个问题。 这期只有这一条。一条讲透,胜过八条念标题。

LoRA 该往哪几层插? 听起来像调参细节。其实每个做微调的人都绕不开它,只是没人把它当回事。 这个月 8 号 arXiv 上挂了一篇,编号 2610.11620,冲的就是这个问题。 这期只有这一条。一条讲透,胜过八条念标题。

这篇论文我读了两遍。最让我不舒服的倒不是实验结果本身,而是这个结果照出来的一层幻觉——我们这行最近又有人开始把“知识塞进权重”当成 RAG 的替代品在吹了。省 token、不泄露源数据、查询快,听着全对。但这篇论文自己把话说到了一个很尴尬的位置:知识确实写进去了,可怎么读出来,没人知道。 先说这论文干了什么。
