[论文解读] Reasoning about Actions and State Changes by Injecting Commonsense Knowledge

Niket Tandon, Bhavana Dalvi Mishra+4 more|arXiv (Cornell University)|Aug 29, 2018

Topic Modeling参考文献 21被引用 10

一句话总结

本文提出 ProStruct，一种神经结构化预测模型，通过注入硬约束（例如，实体不能被破坏两次）和软约束（例如，涡轮机移动等罕见事件会被惩罚）的常识知识，提升对程序性文本中动作和状态变化的推理能力。该模型显著优于先前系统，减少了全局不一致的预测，相较于 ProPara 基准在相对性能上提升 8%，同时避免了无意义的输出。

ABSTRACT

Comprehending procedural text, e.g., a paragraph describing photosynthesis, requires modeling actions and the state changes they produce, so that questions about entities at different timepoints can be answered. Although several recent systems have shown impressive progress in this task, their predictions can be globally inconsistent or highly improbable. In this paper, we show how the predicted effects of actions in the context of a paragraph can be improved in two ways: (1) by incorporating global, commonsense constraints (e.g., a non-existent entity cannot be destroyed), and (2) by biasing reading with preferences from large-scale corpora (e.g., trees rarely move). Unlike earlier methods, we treat the problem as a neural structured prediction task, allowing hard and soft constraints to steer the model away from unlikely predictions. We show that the new model significantly outperforms earlier systems on a benchmark dataset for procedural text comprehension (+8% relative gain), and that it also avoids some of the nonsensical predictions that earlier systems make.

研究动机与目标

• 解决神经模型在程序性文本状态变化预测中出现的全局不一致性和不现实性问题。
• 通过在预测过程中整合外部常识知识，改进对动作及其影响的推理能力。
• 将程序性文本理解重新定义为具有约束搜索的结构化预测任务，以实现更合理的状态转换。
• 通过强制执行世界逻辑约束，减少无意义预测，例如物体从自身移动或涡轮机重新定位等。
• 评估背景知识（BK）和约束对模型性能与鲁棒性的影响。

提出的方法

• 将程序性文本理解视为神经结构化预测任务，模型预测时间点上的状态变化序列。
• 使用带有可微分约束的束搜索，引导搜索过程朝向全局一致且合理的动作序列。
• 在解码过程中，将硬约束（例如，一个实体不能被破坏超过一次）作为可微分惩罚项引入。
• 应用源自大规模语料库的软约束（例如，'涡轮机很少移动'），以偏向模型预测更可能的状态变化。
• 通过检索机制整合外部背景知识（BK），以指导合理的状态转换，例如 '沉积物分解' 暗示沉积物被破坏。
• 通过约束搜索路径反向传播梯度，实现端到端训练，实现预测与约束的联合优化。

实验结果

研究问题

• RQ1 通过注入常识知识，能否提升神经模型在程序性文本理解中的全局一致性？
• RQ2 硬约束（例如，逻辑上不可能的情况）和软约束（例如，基于语料库的偏好）如何影响预测质量与合理性？
• RQ3 约束在多大程度上减少了诸如自移动或不合理的实体破坏等无意义预测？
• RQ4 当出现词汇不匹配时，背景知识检索在多大程度上影响模型性能？
• RQ5 具有约束感知解码的结构化预测是否优于标准神经序列模型在程序性推理任务上的表现？

主要发现

• 所提出的模型 ProStruct 在 ProPara 基准上相较于先前最先进系统实现了 8% 的相对性能提升，用于程序性文本理解。
• 硬约束成功防止了全局不一致的预测，例如在已存在电力后再次生成电力。
• 源自语料库的软约束减少了不合理的预测，例如涡轮机改变位置，通过偏向模型选择更可能的状态转换。
• 背景知识检索提升了预测的覆盖范围和正确性，但在出现词汇不匹配时（例如，'deposits' 与 'sediment'）会失效。
• 错误分析表明，隐含指代、共指关系和代词消解仍是挑战，尤其当实体未被显式提及。
• 消融实验证实，硬约束和软约束均对性能提升有显著贡献，约束在避免无意义输出方面起关键作用。