[论文解读] Sogou Machine Reading Comprehension Toolkit

Jindou Wu, Yunlun Yang+6 more|arXiv (Cornell University)|Mar 28, 2019

Topic Modeling参考文献 18被引用 6

一句话总结

本文介绍了搜狗机器阅读理解工具包（SMRC），这是一个基于TensorFlow的框架，通过提供统一的数据集读取器、灵活的预处理流水线、可重用的神经组件以及SQuAD 1.0、BiDAF和QANet等最先进模型的内置实现，加速了神经机器阅读理解模型的开发。该工具包实现了具有竞争力的性能，其在SQuAD 1.0上的结果与原始论文相比F1/EM分数相差仅0.1–0.3，同时支持快速原型设计和模型对比。

ABSTRACT

Machine reading comprehension have been intensively studied in recent years, and neural network-based models have shown dominant performances. In this paper, we present a Sogou Machine Reading Comprehension (SMRC) toolkit that can be used to provide the fast and efficient development of modern machine comprehension models, including both published models and original prototypes. To achieve this goal, the toolkit provides dataset readers, a flexible preprocessing pipeline, necessary neural network components, and built-in models, which make the whole process of data preparation, model construction, and training easier.

研究动机与目标

• 为解决因自定义代码库和不同训练环境导致的已发表机器阅读理解模型复现效率低下和不一致的问题。
• 通过提供可重用组件、预处理流水线和内置模型实现，简化新模型的开发流程。
• 支持包括SQuAD 1.0、SQuAD 2.0、CoQA和CMRC2018在内的多样化数据集，实现跨数据集的评估与比较。
• 通过提供模块化、可扩展的组件（如词表构建器、特征提取器和批处理生成器）支持快速原型设计。
• 通过高级API集成SOTA模型（如BERT、ELMo和QANet），实现训练和评估的便捷化。

提出的方法

• 该工具包采用流水线架构，包含四个核心模块：数据集读取器、数据预处理、模型构建和模型训练。
• 为SQuAD 1.0、SQuAD 2.0、CoQA和CMRC2018提供了数据集读取器，将原始数据转换为具有统一字段名称的标准可序列化数据对象。
• 预处理流水线包含一个支持词级和字符级嵌入的词表构建器，并可加载GloVe和fastText等预训练嵌入。
• 通过模块化特征提取器提取语法特征（如POS、NER、TF和精确匹配），并为离散特征构建词表。
• 批处理生成器使用TensorFlow Dataset API，高效并行化数据转换，应用动态填充，并以一致形状批量处理张量。
• 模型构建支持使用函数式API封装的组件构建自定义架构，也支持内置模型（如BiDAF、DrQA、QANet和BERT），并可配置注意力和嵌入层。

实验结果

研究问题

• RQ1 统一且模块化的工具包在在多大程度上能够减少复现和比较已发表机器阅读理解模型所需的时间与精力？
• RQ2 该工具包的预处理与训练流水线在SQuAD 1.0、SQuAD 2.0、CoQA和CMRC2018等多样化数据集上，能否保持兼容性与高性能？
• RQ3 不同词嵌入（如GloVe、ELMo、fastText）在SQuAD 1.0和CoQA等标准基准上的表现有何差异？
• RQ4 该工具包对预训练上下文嵌入（如BERT、ELMo）的集成能否实现接近原始实现的性能？
• RQ5 该工具包在通过可重用组件和灵活架构支持新模型快速原型设计方面，效果如何？

主要发现

• 该工具包成功复现了SQuAD 1.0的结果：BiDAF在F1为77.3、EM为67.7，与原始论文报告的分数完全一致。
• 在SQuAD 1.0上微调后，BERT-Base达到88.3 F1和80.6 EM，与原始论文报告的88.5 F1和80.8 EM高度一致。
• 在SQuAD 2.0上，BERT-Base达到75.9 F1和73.0 EM，略优于原始论文报告的75.1 F1和72.0 EM。
• ELMo的集成始终能提升性能：使用ELMo的DrQA在SQuAD 1.0上达到83.1 F1和74.4 EM，而使用随机初始化嵌入的版本仅为78.9 F1和69.4 EM。
• 在CoQA上，使用答案验证机制的BERT-Base达到79.5 F1，优于原始BiDAF++基线的69.2 F1。
• 该工具包在CMRC2018上的BiDAF实现达到57.01 F1和35.0 EM，为中文机器阅读理解建立了强有力的基线。