[论文解读] ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension

Dheeru Dua, Ananth Gottumukkala+3 more|arXiv (Cornell University)|Dec 29, 2019

Topic Modeling参考文献 19被引用 14

一句话总结

ORB 是一个开放的评估基准，可在七个不同的数据集中对机器阅读理解模型进行全面、统一的评估，测试其在共指消解、推理和分布外泛化方面的能力。该基准支持在多个数据集（包括隐藏测试集）上评估模型，且无训练限制，有助于提升自然语言理解系统在鲁棒性和泛化能力方面的表现。

ABSTRACT

Reading comprehension is one of the crucial tasks for furthering research in natural language understanding. A lot of diverse reading comprehension datasets have recently been introduced to study various phenomena in natural language, ranging from simple paraphrase matching and entity typing to entity tracking and understanding the implications of the context. Given the availability of many such datasets, comprehensive and reliable evaluation is tedious and time-consuming for researchers working on this problem. We present an evaluation server, ORB, that reports performance on seven diverse reading comprehension datasets, encouraging and facilitating testing a single model's capability in understanding a wide variety of reading phenomena. The evaluation server places no restrictions on how models are trained, so it is a suitable test bed for exploring training paradigms and representation learning for general reading facility. As more suitable datasets are released, they will be added to the evaluation server. We also collect and include synthetic augmentations for these datasets, testing how well models can handle out-of-domain questions.

研究动机与目标

• 解决在多个多样化数据集上评估机器阅读理解模型的挑战，该挑战耗时且容易导致对特定数据集的过拟合。
• 促进对单一模型在多种语言现象（如共指、推理和改写）上泛化能力的全面评估。
• 提供一个标准化的开放评估平台，支持隐藏测试集和合成数据增强，以测试模型在分布外情况下的泛化能力。
• 通过允许跨数据集评估且无训练限制，推动开发更鲁棒、通用的阅读理解系统。
• 支持未来在发布高质量新阅读理解数据集时将其集成到基准中，确保该基准持续更新且全面。

提出的方法

• 设计一个评估服务器，支持在七个现有的阅读理解数据集上进行推理，包括其开发集和隐藏测试集。
• 基于两个标准选择数据集：排除多项选择格式，并聚焦于单段落、独立问题的问答任务，以隔离阅读理解与检索或对话复杂性的影响。
• 整合源自现有问题转换技术（如反转选项、蕴含关系、SEARs）的合成数据增强，以测试模型对分布偏移的鲁棒性。
• 确保所有数据集均在一致的推理条件下进行评估，且对模型架构或训练方法无任何限制。
• 通过公开排行榜和开源代码（https://leaderboard.allenai.org/orb）托管评估服务器，实现可复现且透明的基准测试。
• 仅使用在所有数据集中以相同输入格式进行评估的模型，确保性能衡量的公平性和可比性。

实验结果

研究问题

• RQ1 单一机器阅读理解模型是否能在多样且无重叠的阅读理解数据集中实现强大且一致的性能？
• RQ2 合成数据增强在多大程度上能提升模型对分布外问题泛化能力的评估？
• RQ3 现有模型在如 DROP 和 Quoref 这类需要多跨度和共指消解的推理密集型数据集上的表现如何？
• RQ4 同时在多个数据集上进行评估是否能减少对单个数据集偏差的过拟合？
• RQ5 统一的评估平台是否能促进更鲁棒、更通用的阅读理解系统的发展？

主要发现

• ORB 基准支持在七个多样化阅读理解数据集（包括隐藏测试集）上对单一模型进行评估，且无训练限制。
• 成功生成并集成了合成增强数据，如反转选项、基于蕴含关系的转换以及 SEARs（So-questions），用于测试模型鲁棒性。
• 在 SQuAD 1.1 和 2.0 上的性能分别为 F1 40.03 和 49.07，表明其在跨度抽取任务上的基线表现。
• DuoRC 在开发集上 F1 为 25.65，测试集上为 34.28，凸显了在改写理解方面面临的挑战。
• Quoref 和 DROP 数据集显示出显著的性能差距，F1 分别为 24.08 和 31.74，表明在共指和多步推理方面存在困难。
• 该基准的设计支持未来扩展新数据集，其开放的评估基础设施可实现透明、可复现的模型比较。