[论文解读] Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs

Angelica Chen, Ravid Schwartz-Ziv+3 more|arXiv (Cornell University)|Sep 13, 2023

Topic Modeling被引用 4

一句话总结

本文研究了掩码语言模型（MLMs）中的突发训练动态，识别出句法注意力结构（SAS）的突然出现——即专门化的注意力头聚焦于句法依赖关系——这一现象与损失的急剧下降同时发生。研究证明SAS对于语法能力的发展具有因果必要性，且临时抑制SAS可加速收敛并提升最终性能，揭示了预训练中的关键学习期和简洁性偏差。

ABSTRACT

Most interpretability research in NLP focuses on understanding the behavior and features of a fully trained model. However, certain insights into model behavior may only be accessible by observing the trajectory of the training process. We present a case study of syntax acquisition in masked language models (MLMs) that demonstrates how analyzing the evolution of interpretable artifacts throughout training deepens our understanding of emergent behavior. In particular, we study Syntactic Attention Structure (SAS), a naturally emerging property of MLMs wherein specific Transformer heads tend to focus on specific syntactic relations. We identify a brief window in pretraining when models abruptly acquire SAS, concurrent with a steep drop in loss. This breakthrough precipitates the subsequent acquisition of linguistic capabilities. We then examine the causal role of SAS by manipulating SAS during training, and demonstrate that SAS is necessary for the development of grammatical capabilities. We further find that SAS competes with other beneficial traits during training, and that briefly suppressing SAS improves model quality. These findings offer an interpretation of a real-world example of both simplicity bias and breakthrough training dynamics.

研究动机与目标

• 理解MLM预训练过程中句法结构获取的涌现机制，超越最终模型的分析。
• 探究句法注意力结构（SAS）是否与语言能力的发展存在因果关联。
• 考察SAS在训练过程中与替代学习策略的竞争作用。
• 探索在训练期间操纵SAS是否能改善模型收敛性和最终性能。
• 通过动态监控可解释性特征，识别并表征MLM预训练中的关键学习期。

提出的方法

• 通过注意力分布监测句法注意力结构（SAS），使用依存句法解析准确率作为代理指标，测量无标签依存得分（UAS）。
• 引入一种可微正则化器，在预训练期间抑制SAS，从而实现对这一结构特征的受控调控。
• 通过多种指标追踪训练动态：MLM损失、隐式解析准确率（UAS）、GLUE和BLiMP得分，涵盖多个随机种子。
• 使用非参数自助法计算所有报告指标的95%置信区间。
• 在固定和可变训练时长下，比较有SAS抑制与无SAS抑制的模型，以隔离因果效应。
• 通过中心化核对齐（CKA）和总变差距离（TVD）随时间的分析，评估表征和功能相似性。

实验结果

研究问题

• RQ1 句法注意力结构（SAS）在训练的哪个阶段出现，其与损失动态的相关性如何？
• RQ2 SAS是否对MLM语法能力的获取具有因果必要性？
• RQ3 在预训练过程中，是否存在替代学习策略与SAS的竞争？若有，这种竞争如何影响模型性能？
• RQ4 在特定窗口期内抑制SAS是否能改善最终模型质量并加速收敛？
• RQ5 SAS的关键学习期在大规模模型中是否依然存在？若早期被抑制，模型是否仍能最终收敛？

主要发现

• SAS在训练的某一固定时间点出现突然激增，紧随其后是损失的急剧下降，作者将此现象称为“结构启动”（structure onset）。
• SAS的出现后，语法能力显著提升，以BLiMP得分为度量，标志着“能力启动”（capabilities onset）——即功能性能的相变阶段。
• SAS对语法能力的发展具有因果必要性：在SAS被抑制的模型中，这些能力无法发展起来。
• 在关键窗口期内短暂抑制SAS可提升最终模型质量并加速收敛，表现最佳的模型达到MLM损失1.55 ± 0.01。
• 在替代策略启动之后继续抑制SAS会损害性能并阻断SAS的长期恢复，表明关键学习阶段存在一个终点。
• 尽管早期出现偏差，但在300K步长训练后，SAS被抑制的长期模型收敛至与标准BERT相似的性能水平，最终指标间无统计显著差异。

(a) Intrinsic dimension (TwoNN) complexity. Alternative complexity metrics in Section L.2 .