Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

arXiv:2610.21025v1 公告类型：新

摘要：语言模型何时获得某项能力？发展性研究通常通过追踪模型何时开始生成正确的 token 来回答这一问题。但这一预测要经过 unembedding 矩阵，即读出层（readout），而该矩阵本身在预训练期间仍处于学习之中。我们表明，模型的隐藏状态可以在其自身的读出层表达出任务信息之前就已编码该信息，因此从输出读取出的时间线将模型所编码的内容与其读出层所表达的内容混为一谈。为了直接追踪读出层，我们引入了参数轨迹交叉编码（parameter-trajectory crosscoding），它为每个检查点上每个 token 的读出层行拟合同一个稀疏字典。与作用于激活值的 crosscoder 不同，它只需要检查点权重。我们用它定位到一个狭窄的早期窗口——在 Pythia 预训练进行到 0.4–1.1% 的区间——在该窗口内读出层发生重组，WordNet 词类别变得可以从其行中解码。到那时，对隐藏状态的线性探针已经能够解码出模型自身输出尚未显现的任务信息。为了检验这种差距是否取决于读出层学习的快慢，我们从零开始预训练小型模型，这些模型仅在读出层的学习率上有所不同。我们发现，提高该学习率会使读出层更早发展、差距更快弥合，而对最终损失几乎没有影响。综合来看，这些结果表明，在训练早期——许多发展性转变正是在此被定日期——一个行为上的日期可能反映的是读出层何时学会表达任务信息，而非模型何时学会该信息。