[论文解读] Procedural Reading Comprehension with Attribute-Aware Context Flow

Aida Amini, Antoine Bosselut+3 more|arXiv (Cornell University)|Mar 31, 2020

Topic Modeling参考文献 19被引用 8

一句话总结

该论文提出 Dynapro，一种用于程序性阅读理解的端到端神经模型，通过利用从预训练语言模型中提取的属性感知和上下文感知表示，联合预测实体属性及其状态转换。通过使用基于 LSTM 的上下文流对程序性文本建模为实体属性的动态转换，该模型在 ProPara 和 npn-Cooking 数据集上取得了最先进性能。

ABSTRACT

Procedural texts often describe processes (e.g., photosynthesis and cooking) that happen over entities (e.g., light, food). In this paper, we introduce an algorithm for procedural reading comprehension by translating the text into a general formalism that represents processes as a sequence of transitions over entity attributes (e.g., location, temperature). Leveraging pre-trained language models, our model obtains entity-aware and attribute-aware representations of the text by joint prediction of entity attributes and their transitions. Our model dynamically obtains contextual encodings of the procedural text exploiting information that is encoded about previous and current states to predict the transition of a certain attribute which can be identified as a span of text or from a pre-defined set of classes. Moreover, our model achieves state of the art results on two procedural reading comprehension datasets, namely ProPara and npn-cooking

研究动机与目标

• 为了解决理解程序性文本中实体属性随时间变化的挑战，例如科学过程或烹饪食谱。
• 提出一种通用的形式化方法，将程序性文本表示为实体属性转换的序列。
• 通过联合预测实体属性（作为文本片段或类别）及其状态转换，利用上下文编码提升程序性阅读理解能力。
• 利用预训练语言模型获取实体感知和属性感知的表示，以捕捉时间动态。
• 在科学和烹饪领域等多样化的程序性阅读理解任务中实现最先进性能。

提出的方法

• 该模型将程序性文本转化为一种形式化表示，包含实体、其属性以及随时间的变化。
• 使用预训练语言模型为每个时间步生成上下文表示，整合来自先前和当前状态的信息。
• 通过多头预测头联合预测实体属性（作为文本片段或来自预定义类别）及其转换。
• 基于 LSTM 的转换模块对上下文流进行建模，实现状态转换的动态编码。
• 通过组合片段预测和类别预测构建属性感知表示，增强上下文建模能力。
• 采用联合目标函数对属性片段、属性类别和转换动作进行端到端训练。

实验结果

研究问题

• RQ1 是否能够通过统一的形式化方法在多样化领域中将程序性文本表示为实体属性转换的序列？
• RQ2 联合预测实体属性及其转换在多大程度上提升了程序性阅读理解性能？
• RQ3 属性感知和上下文感知表示在多大程度上提升了程序性推理任务的性能？
• RQ4 与静态编码相比，通过 LSTM 建模时间上下文流是否能提升转换预测性能？
• RQ5 该模型是否能在不改变架构的情况下跨领域（如科学过程和烹饪食谱）实现良好泛化？

主要发现

• Dynapro 在 ProPara 文档级任务上取得了 71.9 的测试 F1 分数，创下新的最先进记录。
• 消融实验表明，若移除属性感知表示，性能下降至 69.5 F1，表明其关键作用。
• 联合预测转换和属性至关重要，若移除转换预测，F1 降至 66.3。
• 将输入截断为仅当前时间步的上下文（而非完整文档）可提升泛化能力，而使用完整输入则使性能降至 61.0 F1。
• 当使用 [CLS] 标记而非属性感知表示时，模型性能显著下降至 70.9 F1，证实了细粒度属性监督的价值。
• 错误分析显示，约 1–2% 的预测中存在不一致的转换（如创建、销毁或移动），主要由于缺少外部知识或片段对齐错误。