跳到主要内容

PC-ALM1 篇实战文章

号手号手

翻旧账

Sakana AI 那篇 PCALM 出来,我盯着看了一下午的不是 1000 层残差 MLP 能训这件事,也不是它在 FashionMNIST 和 CIFAR10 上追到反传两个百分点以内——是作者把增广拉格朗日接进预测编码的推理更新时,每层引入的对偶变量 λi,在平衡点上编码的恰好就是反传的信用信号。

翻旧账
PC-ALM 实战经验与踩坑复盘 | 跑通