[论文解读] What Context Features Can Transformer Language Models Use?

Joe O’Connor, Jacob Andreas|arXiv (Cornell University)|Jun 15, 2021

Topic Modeling参考文献 35被引用 5

一句话总结

本文研究了变换器模型在提升语言建模时使用何种类型的上下文信息。基于 $ρ$-信息框架，该研究对长上下文中的词汇和结构特征进行消融分析，发现仅有内容词和局部共现模式携带了大部分可用信息——删除功能词或打乱词序导致性能下降不足15%，表明当前模型对句法和命题细节的依赖程度较低。

ABSTRACT

Transformer-based language models benefit from conditioning on contexts of hundreds to thousands of previous tokens. What aspects of these contexts contribute to accurate model prediction? We describe a series of experiments that measure usable information by selectively ablating lexical and structural information in transformer language models trained on English Wikipedia. In both mid- and long-range contexts, we find that several extremely destructive context manipulations -- including shuffling word order within sentences and deleting all words other than nouns -- remove less than 15% of the usable information. Our results suggest that long contexts, but not their detailed syntactic and propositional content, are important for the low perplexity of current transformer language models.

研究动机与目标

• 识别长上下文输入中哪些方面为变换器语言模型提供了可用信息。
• 确定在长上下文建模中，句法结构、词序或词汇内容在预测性能中的主导作用。
• 使用形式化信息论框架，衡量受控上下文消融对模型困惑度的影响。
• 区分在消融下模型性能下降是由信息损失还是分布偏移引起。
• 为未来模型设计提供指导，以实现更高效、信息保留更完整的上下文表征。

提出的方法

• 本研究采用 $ρ$-信息框架（Xu et al., 2020）量化语言模型上下文中可用的预测信息。
• 在维基百科数据上训练变换器语言模型，并在受控的上下文特征消融下评估困惑度。
• 消融操作包括：打乱句子内部的词序、仅保留内容词（名词）以外的所有词、移除所有功能词。
• 通过比较消融后与原始上下文下的模型性能，分离结构信息与词汇信息的影响。
• 实验在768个标记的上下文长度下进行，模型性能通过保留的困惑度进行衡量。
• 该框架能够区分性能下降是由信息损失还是分布偏移引起的。

实验结果

研究问题

• RQ1 长上下文输入的哪些特征对变换器语言模型的预测最有用？
• RQ2 当句法结构或词序被破坏时，还保留了多少可用信息？
• RQ3 与功能词或全局结构相比，内容词和局部共现模式在多大程度上传递了预测信息？
• RQ4 命名实体或文档身份的存在是否能解释长上下文的优势？
• RQ5 消融导致的性能下降是由于信息损失还是分布偏移？

主要发现

• 在句子内部打乱词序导致模型困惑度下降不足15%，表明模型对局部词序的依赖程度极低。
• 仅保留名词以外的所有词时，困惑度增加不足15%，表明内容词携带了大部分可用信息。
• 移除功能词也仅导致困惑度增加不足15%，表明语法功能词对预测能力的贡献微乎其微。
• 仅保留文档身份或命名实体会导致显著的性能下降，表明长上下文的优势不能仅由主题或实体信息解释。
• 结果表明，当前变换器模型主要依赖局部共现统计和内容词，而非句法或命题结构。
• 本研究表明，许多此前被认为极具破坏性的消融操作对可用信息的影响微乎其微，挑战了关于模型对语言结构依赖程度的既有假设。