错在路径,不在参数
推理链里出错,多数时候不是模型不够强。 是错误一旦落进上下文,后面每一步都在替它背书。 这话听起来像给模型开脱。不是。我想说的是,我们对“推理出错”的默认反应,方向就选错了。 默认反应是换更强的模型,或者加一句“再仔细想想”。 这两件事是同一件事。都是指望同一套参数,在同一个位置上多使一次劲。

推理链里出错,多数时候不是模型不够强。 是错误一旦落进上下文,后面每一步都在替它背书。 这话听起来像给模型开脱。不是。我想说的是,我们对“推理出错”的默认反应,方向就选错了。 默认反应是换更强的模型,或者加一句“再仔细想想”。 这两件事是同一件事。都是指望同一套参数,在同一个位置上多使一次劲。
