[论文解读] Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension

Hongyu Gong, Yelong Shen+3 more|arXiv (Cornell University)|May 16, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

本文提出循环分块机制（RCM）用于长文本机器阅读理解，使模型能够学习动态的、基于强化学习的长文档分块，并利用循环网络在不同段落间传递上下文信息。该方法通过减少不完整预测并增强跨段落推理，提升了在CoQA、QuAC和TriviaQA上的答案跨度覆盖度与性能。

ABSTRACT

In this paper, we study machine reading comprehension (MRC) on long texts, where a model takes as inputs a lengthy document and a question and then extracts a text span from the document as an answer. State-of-the-art models tend to use a pretrained transformer model (e.g., BERT) to encode the joint contextual information of document and question. However, these transformer-based models can only take a fixed-length (e.g., 512) text as its input. To deal with even longer text inputs, previous approaches usually chunk them into equally-spaced segments and predict answers based on each segment independently without considering the information from other segments. As a result, they may form segments that fail to cover the correct answer span or retain insufficient contexts around it, which significantly degrades the performance. Moreover, they are less capable of answering questions that need cross-segment information. We propose to let a model learn to chunk in a more flexible way via reinforcement learning: a model can decide the next segment that it wants to process in either direction. We also employ recurrent mechanisms to enable information to flow across segments. Experiments on three MRC datasets -- CoQA, QuAC, and TriviaQA -- demonstrate the effectiveness of our proposed recurrent chunking mechanisms: we can obtain segments that are more likely to contain complete answers and at the same time provide sufficient contexts around the ground truth answers for better predictions.

研究动机与目标

• 解决基于Transformer的机器阅读理解模型在处理长文档时受固定输入长度限制的局限性。
• 克服等大小、非重叠分块方法泛化能力差的问题，避免遗漏答案跨度或损失上下文连贯性。
• 通过强化学习学习最优段落边界，减少对固定步长的依赖，从而改善答案预测。
• 通过循环机制实现跨段落的信息流动，支持在长文档中远距离跨度之间的推理。
• 在多样化的长上下文机器阅读理解基准上，包括对话式和开放域数据集，展示一致的性能提升。

提出的方法

• 引入一个通过强化学习训练的策略网络，用于决定下一个要处理的段落，实现向前或向后方向的灵活、自适应分块。
• 使用循环机制（LSTM或门控递推）在段落间保持并更新隐藏状态，实现超越单个段落的信息流动。
• 对每个段落的输入使用BERT或BERT-Large进行编码，生成用于答案抽取的上下文表征。
• 集成一个分块评分器，评估每个段落包含答案的可能性，利用得分对多个段落的预测进行集成。
• 采用策略梯度目标端到端训练模型，基于答案预测性能优化分块决策。
• 在分块过程中允许双向移动（前向与后向），以更好地将答案跨度置于段落中心并保留周围上下文。

实验结果

研究问题

• RQ1 与固定步长分块相比，基于强化学习的分块策略是否能提升长文本机器阅读理解中的答案跨度覆盖度？
• RQ2 在段落间引入循环机制是否能通过实现跨段落上下文流动来提升答案预测性能？
• RQ3 答案跨度相对于段落中心的位置如何影响模型性能？动态分块能否缓解此问题？
• RQ4 所提出的RCM方法在CoQA、QuAC和TriviaQA等多样化长上下文机器阅读理解数据集上的性能提升程度如何？
• RQ5 通过端到端的策略梯度训练，模型是否能够学会避免次优分块模式（如答案不完整、上下文保留差）？

主要发现

• BERT-RCM配合LSTM递推机制在CoQA上的段落命中率为79.7%，显著优于BERT-Large的54.0%，表明其能更优地选择信息丰富的段落。
• 在CoQA上，BERT-RCM配合LSTM的前三个段落中，平均答案段中心距离降低至32.5个词，而BERT-Large为96个词，表明与答案跨度的对齐更优。
• 分块评分器为包含正确答案的段落赋予更高的得分（0.90），证明其能有效识别相关段落。
• BERT-RCM配合门控递推机制在QuAC上达到44.9%的段落命中率，较BERT-Large的34.1%提升10.8%，表明其更专注于包含答案的段落。
• 模型通过动态调整分块边界，减少了在段落边界处的预测错误，而BERT-Large因上下文不足在此类区域表现较差。
• 在CoQA、QuAC和TriviaQA上的大量实验表明，该模型在性能上持续优于当前最先进的基于BERT的模型，验证了RCM在多样化长上下文机器阅读理解任务中的有效性。