[论文解读] What Happened? Leveraging VerbNet to Predict the Effects of Actions in Procedural Text

Peter E. Clark, Bhavana Dalvi+1 more|arXiv (Cornell University)|Apr 15, 2018

Topic Modeling参考文献 25被引用 13

一句话总结

本文提出 ProComp 系统，该系统利用基于 VerbNet 的语义词典来建模程序性文本中动作的先决条件和影响，从而实现对隐含世界状态变化的推理。通过模拟状态转换并整合常识性持久性推理，ProComp 在涉及过程描述的问答任务中显著优于仅依赖表面线索的阅读理解基线模型。

ABSTRACT

Our goal is to answer questions about paragraphs describing processes (e.g., photosynthesis). Texts of this genre are challenging because the effects of actions are often implicit (unstated), requiring background knowledge and inference to reason about the changing world states. To supply this knowledge, we leverage VerbNet to build a rulebase (called the Semantic Lexicon) of the preconditions and effects of actions, and use it along with commonsense knowledge of persistence to answer questions about change. Our evaluation shows that our system, ProComp, significantly outperforms two strong reading comprehension (RC) baselines. Our contributions are two-fold: the Semantic Lexicon rulebase itself, and a demonstration of how a simulation-based approach to machine reading can outperform RC methods that rely on surface cues alone. Since this work was performed, we have developed neural systems that outperform ProComp, described elsewhere (Dalvi et al., NAACL'18). However, the Semantic Lexicon remains a novel and potentially useful resource, and its integration with neural systems remains a currently unexplored opportunity for further improvements in machine reading about processes.

研究动机与目标

• 解决在程序性文本中回答关于隐含世界状态变化的问题的挑战，其中影响未被明确陈述。
• 开发一种基于规则的系统，利用语言事件模式建模动作如何改变世界状态。
• 证明基于模拟的推理结合语义知识可优于仅依赖表面线索的阅读理解模型。
• 创建一个可重用、富含知识的资源——语义词典——用于过程描述中动作影响的推理。

提出的方法

• 通过扩展 VerbNet 以添加规则，将动作的先决条件和影响编码为逻辑蕴含（例如，'enter' 暗示事件后 'is-at'）。
• ProComp 将程序性文本解析为过程图，跨时间步跟踪实体和事件。
• 在每个事件步骤中，应用语义词典规则推断新的世界状态字面量（例如，'CO2 在叶子处' 在 'enters' 之后）。
• 应用持久性推理以在时间步之间保持状态，除非被动作修改，否则假设事实不变。
• 系统使用参与者网格表示每个事件前后实体的状态，支持多步推理。
• 通过查询模拟的最终状态来回答问题，结合逻辑推理与指代消解。

实验结果

研究问题

• RQ1 基于规则的系统若使用语义词典建模动作影响，是否能在需要对程序性文本中隐含变化进行推理的问题上超越神经网络阅读理解模型？
• RQ2 将世界状态模拟与语言理解相结合，在多大程度上能提升对表面线索的推理能力？
• RQ3 基于 VerbNet 的规则库在捕捉真实世界过程描述中动作的先决条件和影响方面有多有效？
• RQ4 在依赖符号推理处理复杂世界知识时，会产生哪些类型的错误，与神经网络模型依赖模式的错误相比如何？

主要发现

• ProComp 在所有问题上的 F1 得分为 74.8，在单答案问题上的 F1 得分为 67.0，显著优于两个强大的阅读理解基线模型。
• 消融研究显示，移除 VerbNet 扩展后 F1 降低 5.9 分，证实了语义词典增强的重要性。
• 该系统在多事件推理问题上表现更优，例如在一系列运输和转化事件后追踪锭的来源。
• NLP 管道错误占失败原因的约 20%，表明稳健的事件抽取仍是瓶颈。
• 语义遗漏（例如 'evaporate' 缺少位置变化）导致约 30% 的错误，突显了词典中的知识缺口。
• 超出系统能力范围的复杂推理（如推断冰雹形成或冰箱内温度变化）占错误的约 40%，揭示了符号规则模型的局限性。