[论文解读] Pitfalls of Static Language Modelling.

Angeliki Lazaridou, Adhiguna Kuncoro+12 more|arXiv (Cornell University)|Feb 3, 2021

Topic Modeling参考文献 77被引用 27

一句话总结

本文揭示了静态语言模型中的一个关键缺陷：最先进（SOTA）的Transformer模型在预测其训练期之外的未来语言时性能会下降。作者证明，持续知识更新——而不仅仅是扩大模型规模——能显著减缓这种性能退化，主张采用自适应语言模型，并重新思考在动态、非平稳语言环境中的静态评估协议。

ABSTRACT

Our world is open-ended, non-stationary and constantly evolving; thus what we talk about and how we talk about it changes over time. This inherent dynamic nature of language comes in stark contrast to the current static language modelling paradigm, which constructs training and evaluation sets from overlapping time periods. Despite recent progress, we demonstrate that state-of-the-art Transformer models perform worse in the realistic setup of predicting future utterances from beyond their training period -- a consistent pattern across three datasets from two domains. We find that, while increasing model size alone -- a key driver behind recent progress -- does not provide a solution for the temporal generalization problem, having models that continually update their knowledge with new information can indeed slow down the degradation over time. Hence, given the compilation of ever-larger language modelling training datasets, combined with the growing list of language-model-based NLP applications that require up-to-date knowledge about the world, we argue that now is the right time to rethink our static language modelling evaluation protocol, and develop adaptive language models that can remain up-to-date with respect to our ever-changing and non-stationary world.

研究动机与目标

• 研究静态语言模型在预测其训练期之外语言时的表现。
• 识别为何仅增加模型规模无法解决动态语言环境中的时间泛化问题。
• 评估持续知识更新对长期语言模型性能的影响。
• 在现实世界非平稳性背景下，主张对静态语言建模评估协议进行根本性反思。
• 倡导开发能够保持最新世界知识的自适应语言模型。

提出的方法

• 本研究在三个涵盖两个领域的多样化数据集上评估最先进（SOTA）的Transformer模型，使用训练集和评估集来自不重叠时间周期的数据，以模拟未来预测。
• 在训练数据之后的多个时间区间内测量性能，以评估随时间的退化情况。
• 将权重固定的模型（静态）与可随新数据增量更新的模型进行比较，以评估持续学习的影响。
• 评估模型规模扩展作为潜在解决方案的效果，但其在时间泛化背景下的有效性也受到检验。
• 评估协议设计旨在反映真实世界部署场景，即模型必须泛化到未来未见的语言。
• 分析聚焦于零样本时间泛化，测量在训练期间未见过的未来时间周期数据上的表现。

实验结果

研究问题

• RQ1 最先进（SOTA）的静态语言模型在预测其训练数据时间周期之外的语言时表现如何？
• RQ2 仅增加模型规模是否能改善静态语言模型的时间泛化能力？
• RQ3 持续知识更新能否缓解语言模型随时间推移的性能退化？
• RQ4 静态评估协议在多大程度上无法反映动态、非平稳语言环境中的真实世界部署条件？
• RQ5 静态语言建模对需要最新世界知识的NLP应用有何影响？

主要发现

• 最先进（SOTA）的Transformer模型在预测其训练数据时间周期之外的语言时表现出一致的性能退化。
• 仅增加模型规模无法解决时间泛化问题，表明规模不足以实现长期鲁棒性。
• 通过持续更新新信息的模型相比静态模型，表现出显著更慢的性能退化。
• 静态评估范式——即使用训练与评估周期重叠的数据——无法捕捉动态语言环境中真实世界的性能退化。
• 研究结果表明，持续学习机制对于在不断演变的语言环境中维持模型性能至关重要。
• 迫切需要从静态语言建模转向自适应语言建模框架，以支持需要最新世界知识的NLP应用。