[论文解读] The Goldilocks Principle: Reading Children's Books with Explicit Memory Representations

Felix Hill, Antoine Bordes+2 more|arXiv (Cornell University)|Jan 1, 2016

Topic Modeling被引用 307

一句话总结

本文提出了语言模型的黄金分割原则，证明存储中间文本长度（既不太短也不太长）的显式、基于窗口的记忆表征，可优化儿童读物中语义内容词的预测性能。使用此类记忆的模型在性能上优于标准神经语言模型，尤其在有意义词汇的预测上表现更优，并通过在这些记忆上进行自监督注意力训练，在CNN问答任务中达到最先进水平。

ABSTRACT

Abstract: We introduce a new test of how well language models capture meaning in children's books. Unlike standard language modelling benchmarks, it distinguishes the task of predicting syntactic function words from that of predicting lower-frequency words, which carry greater semantic content. We compare a range of state-of-the-art models, each with a different way of encoding what has been previously read. We show that models which store explicit representations of long-term contexts outperform state-of-the-art neural language models at predicting semantic content words, although this advantage is not observed for syntactic function words. Interestingly, we find that the amount of text encoded in a single memory representation is highly influential to the performance: there is a sweet-spot, not too big and not too small, between single words and full sentences that allows the most meaningful information in a text to be effectively retained and recalled. Further, the attention over such window-based memories can be trained effectively through self-supervision. We then assess the generality of this principle by applying it to the CNN QA benchmark, which involves identifying named entities in paraphrased summaries of news articles, and achieve state-of-the-art performance.

研究动机与目标

• 评估语言模型在区分句法功能词预测与语义内容词预测的前提下，捕捉儿童读物中语义的能力。
• 探究显式长期记忆表征是否在语义预测任务中优于标准自回归建模方法。
• 确定保留和回忆有意义文本信息的最佳记忆窗口尺寸。
• 评估所提出的记忆机制在非叙事性、基于事实的任务（如新闻摘要中的命名实体识别）中的泛化能力。
• 探索注意力机制对基于窗口的记忆表征是否可通过自监督方式有效训练。

提出的方法

• 作者设计了一个新基准，将儿童读物中句法功能词（如 'the', 'and'）的预测与低频语义内容词（如 'dog', 'happy'）的预测区分开来。
• 比较使用不同机制编码先前上下文的最先进语言模型，包括具有显式记忆表征的模型。
• 记忆机制存储可变长度的中间文本片段（窗口），通过输入上的滑动窗口更新固定大小的记忆向量。
• 通过自监督方式端到端训练这些记忆窗口上的注意力机制，使模型能够动态关注相关的历史内容。
• 该方法在儿童读物预测任务上进行评估，并迁移至CNN问答基准以进行命名实体识别。
• 通过在语义内容词和命名实体预测上的准确率衡量性能，并对记忆窗口尺寸进行消融实验。

实验结果

研究问题

• RQ1 与标准自回归模型相比，存储长期上下文的显式表征是否能提升语言模型在儿童读物中预测语义内容词的性能？
• RQ2 是否存在一个最优的记忆窗口尺寸，可使有意义信息的保留最大化？若存在，其特征尺度为何？
• RQ3 基于窗口的记忆表征上的注意力机制是否可通过自监督方式有效训练，而无需外部监督？
• RQ4 所提出的记忆机制是否能泛化至非叙事性文本？例如在CNN问答基准中对命名实体识别任务的表现是否支持其在事实性、改写型新闻摘要中的适用性？
• RQ5 显式记忆表征的性能优势是否在句法功能词与语义内容词上均成立？

主要发现

• 使用显式记忆表征的模型在预测儿童读物中语义内容词方面，优于最先进神经语言模型。
• 显式记忆带来的性能提升在句法功能词上未被观察到，表明其优势具有选择性，主要体现在语义内容词上。
• 存在一个“最佳窗口”——既不太小也不太大——在此范围内，语义预测性能达到峰值。
• 通过自监督方式可有效训练记忆窗口上的注意力机制，从而实现对过去信息的动态、上下文感知的召回。
• 黄金分割原则可泛化至非叙事性文本，该方法在CNN问答基准中命名实体识别任务上达到最先进性能。
• 实验发现最优记忆窗口尺寸为中等大小，表明过于细粒度或过于压缩的表征会降低性能。