[论文解读] WikiReading: A Novel Large-scale Language Understanding Task over Wikipedia

Daniel Hewlett, Alexandre Lacoste+6 more|arXiv (Cornell University)|Aug 11, 2016

Natural Language Processing Techniques参考文献 23被引用 7

一句话总结

WikiReading 引入了一个大规模、公开可用的自然语言理解基准，包含1887万个实例，模型需从对应的维基百科文章中预测维基数据值。表现最佳的模型是采用复制机制的词级别序列到序列架构，准确率达到71.8%，表明端到端序列模型在复杂、开放词汇表推理任务中优于传统分类器和抽取器。

ABSTRACT

We present WikiReading, a large-scale natural language understanding task and publicly-available dataset with 18 million instances. The task is to predict textual values from the structured knowledge base Wikidata by reading the text of the corresponding Wikipedia articles. The task contains a rich variety of challenging classification and extraction sub-tasks, making it well-suited for end-to-end models such as deep neural networks (DNNs). We compare various state-of-the-art DNN-based architectures for document classification, information extraction, and question answering. We find that models supporting a rich answer space, such as word or character sequences, perform best. Our best-performing model, a word-level sequence to sequence model with a mechanism to copy out-of-vocabulary words, obtains an accuracy of 71.8%.

研究动机与目标

• 创建一个大规模、多样化且公开可用的语言理解基准，结合文本分类与信息抽取。
• 在包含数百万个开放词汇表答案的统一复杂任务上，评估最先进深度神经网络架构的表现。
• 识别在原始文本上进行端到端推理的最有效模型架构，涵盖分类与序列生成。
• 探索预训练、输入粒度（词级 vs. 字符级）以及开放词汇词处理在真实世界NLU任务中的影响。

提出的方法

• 通过将维基数据条目链接到其对应的维基百科文章，构建了1887万个（维基百科文章，维基数据属性，维基数据答案）三元组数据集。
• 将所有时间戳预处理为人类可读格式，并确保所有输入和输出均为人类可读的字符串。
• 在相同任务和划分下，评估了一套深度学习模型，包括序列到序列模型、分类器和基于RNN的标注器。
• 实现了一个词级别的序列到序列模型，并引入复制机制以处理开放词汇词，提升泛化能力。
• 使用语言模型预训练以提升性能，尤其对字符级模型效果显著，降低超参数敏感性并加速训练。
• 将数据集按85%训练集、10%验证集和5%测试集进行划分，确保模型间评估的一致性。

实验结果

研究问题

• RQ1 在结合分类与抽取的大规模开放词汇表语言理解任务中，哪种深度学习架构表现最佳？
• RQ2 在包含多样化真实维基百科内容的统一基准上，序列到序列模型与传统分类器和抽取器的性能相比如何？
• RQ3 语言模型预训练在低资源或开放词汇表场景下，对字符级模型性能的提升程度如何？
• RQ4 不同输入粒度（词级 vs. 字符级）对本任务中模型性能和训练稳定性的影响如何？
• RQ5 端到端模型能否有效学习从维基百科文章中同时进行分类和复制任意文本片段，而无需依赖外部NLP流水线？

主要发现

• 表现最佳的模型是采用开放词汇词复制机制的词级别序列到序列模型，在WikiReading基准上达到71.8%的准确率。
• 序列到序列模型优于传统分类器和抽取器，尤其在具有罕见或复杂答案的关系型和类别型属性上表现更优。
• 结合语言模型预训练后，字符级序列到序列模型的性能可与词级模型相媲美，即使未使用子词或词分割信息。
• 模型间的性能差距在具有罕见或开放词汇词答案的属性上最为显著，此时复制机制和序列建模至关重要。
• 语言模型预训练显著提升了训练稳定性和最终性能，尤其对字符级模型而言，降低了对超参数的敏感性。
• 具有丰富答案空间的模型——特别是能够生成任意文本序列的模型——优于输出空间受限的模型，表明在复杂NLU任务中生成能力的重要性。