这周只讲一篇论文。11 月 2 号挂到 arXiv 上的,我看了两遍。
先说它干了什么。二十个数据集,九个科学领域,五个没做过任务特定训练的大模型去干数值预测,七个监督学习模型做对照。结论一句话:示例给得少的时候,带语义接地的那五个模型能追平甚至超过监督模型。
简单说,变量名就是特征名。
就这么个事。
为什么值得单独拎出来
大家默认大模型在表格数据上不灵。梯度提升树摆在那儿,XGBoost 一座山。谁拿 LLM 去回归数值,多少像拿螺丝刀敲钉子。
这篇不是想说“LLM 比 GBDT 强”。它说的是:示例少到监督模型吃不饱的时候,LLM 靠变量名里那点语义,能顶一阵。
语义接地,作者的定义是变量名称和它描述的数值之间的匹配关系。名字叫 temperature 的那一列,模型知道那是温度,不是一个随便的浮点数。这东西对人来说不算信息,对模型来说是预训练里带出来的先验。
这点我信。你给一个人一张表,列名全是 x1、x2、x3,他也得先愣一下。列名写了密度、温度、应变率,他立刻能猜出这几列大概怎么互相牵制。模型吃过的文本里,“密度越大”后面通常跟着什么,它在预训练阶段见过。
让我停了一下的是第九条和第十条
作者说模型的行为像贝叶斯更新。
示例推不出输入和目标的关系时,它更多靠领域知识,也就是先验。示例和领域知识打架、而且越给越多的时候,预测一点点往示例那边偏。作者把这些示例当似然。
这个描述我很喜欢。它把一个常被讲得很玄的东西,还原成一个很朴素的权衡:你到底信自己原来知道的,还是信眼前这几条数据。
而且是渐变的,不是开关式的。不是“我看到第三条矛盾的示例就翻脸”,是随着矛盾样本增加逐步倾斜。这一点比结论本身有意思。
我甚至觉得,这篇论文真正的产出不是“LLM 可以做数据高效预测”这个定位。它把“模型什么时候在抄示例、什么时候在用自己的常识”变成了一件可以观察的事。他们做基于物理公式的受控任务,就是为了把这两股力量拆开看。
但我得说清楚我怀疑的地方
二十个数据集、九个领域,听着不少,摊到每个领域就两三个。这种规模能说明趋势,说明不了边界。
“数据稀缺的科学领域”这个定位,我信一半。真正数据稀缺的领域,往往不是缺行数,是缺一个可信的测量手段。变量名能给先验,给不了物理上根本不存在的观测。
还有,示例少的时候 LLM 占优,示例多了呢。论文的落点是数据高效,可一个方法只在样本少的时候好用,这既是它的卖点,也是它的天花板。工程上大部分场景样本是够的,够的时候没人会绕这一圈。
所以我不打算把这篇讲成“表格预测要变天了”。它不是。它是在一个特定角落里补了一块砖:当数据真的很少、而你又恰好知道每个变量叫什么的时候,大模型能替你顶一阵。
补充一句
变量名是个很便宜的杠杆。不管你用不用这篇论文的方法,把自己表里的列名写清楚、写成人话,成本几乎为零。
我见过太多表,列名是 col_1、col_2、feat_a。人看着累,模型看着也累。
这条不是什么新发现。但这篇论文给了它一个可以量化的说法:语义接地。
最后一条我没完全吃透
论文三十页正文、六幅图,补充材料五十三页、十一幅图。补充材料我只翻了一部分,承认。
里面那个基于物理公式的受控实验设计,我大致看懂了意图,具体怎么控制变量、怎么排除示例本身的分布影响,我没细抠。先放在这里,等我读完再补。
如果你读了,愿意回来给我讲讲,更欢迎。
本周就这些。
上面有任何一条你试过、或者觉得我讲错了,欢迎告诉我。讲错的我补,没讲清的我改。
下周见。
