[论文解读] Temporal Reasoning on Implicit Events from Distant Supervision

Ben Zhou, Kyle Richardson+4 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 47被引用 4

一句话总结

本文提出了 Tracie，一个用于评估隐含事件时间推理的新数据集——即未明确陈述但可通过常识推理推断的事件。作者提出 SymTime，一种神经符号模型，结合大规模文本中的远程监督与开始时间及持续时间的符号推理，以推断结束时间，在 Tracie 上达到 78.9% 的准确率，较强基线模型提升 5%，在零样本设置中提升 11%。

ABSTRACT

We propose TRACIE, a novel temporal reasoning dataset that evaluates the degree to which systems understand implicit events -- events that are not mentioned explicitly in natural language text but can be inferred from it. This introduces a new challenge in temporal reasoning research, where prior work has focused on explicitly mentioned events. Human readers can infer implicit events via commonsense reasoning, resulting in a more comprehensive understanding of the situation and, consequently, better reasoning about time. We find, however, that state-of-the-art models struggle when predicting temporal relationships between implicit and explicit events. To address this, we propose a neuro-symbolic temporal reasoning model, SYMTIME, which exploits distant supervision signals from large-scale text and uses temporal rules to combine start times and durations to infer end times. SYMTIME outperforms strong baseline systems on TRACIE by 5%, and by 11% in a zero prior knowledge training setting. Our approach also generalizes to other temporal reasoning tasks, as evidenced by a gain of 1%-9% on MATRES, an explicit event benchmark.

研究动机与目标

• 通过聚焦于未明确提及但可从上下文中推断的隐含事件，填补时间推理研究中的空白。
• 构建一个基准数据集 Tracie，用于评估系统对隐含事件开始和结束时间的推理能力。
• 通过利用大规模文本中的远程监督预训练模型以学习时间模式，提升低资源设置下的泛化能力。
• 设计一种神经符号模型，结合对开始时间距离的端到端学习预测与事件持续时间估计，利用符号逻辑推断结束时间关系。
• 在隐含事件与显式事件的时间推理基准上，展示该方法的鲁棒性与可迁移性。

提出的方法

• 构建 Tracie，一个包含 5,400 个经人工筛选的实例的数据集，采用多前提文本蕴涵格式，聚焦于隐含事件与显式事件之间的时间关系。
• 通过从大规模文本中提取时间模式（特别是开始时间距离和持续时间）实施远程监督，覆盖段落级窗口，而不仅限于句子级。
• 使用这些远程信号训练基于模式的模型 PtnTime，以提升时间推理的预训练效果，尤其在开始时间预测方面。
• 开发 SymTime，一种神经符号模型，将结束时间推理分解为两个部分：预测相对开始时间距离与估计事件持续时间。
• 基于 Allen 区间代数的符号计算来组合预测结果：结束时间 = 开始时间 + 持续时间，实现逻辑推理以确定时间顺序。
• 采用任务特定微调进行 SymTime 的端到端训练，同时也在零样本和低资源设置下评估其性能，以评估泛化能力。

实验结果

研究问题

• RQ1 现有的预训练语言模型能否有效推理隐含事件的开始和结束时间？
• RQ2 从大规模文本中获取的远程监督在多大程度上能提升对隐含事件的时间推理能力，尤其是在低资源设置下？
• RQ3 对开始时间距离和持续时间的符号推理能否在端到端神经模型之外进一步提升结束时间推理性能？
• RQ4 符号时间规则的整合如何增强模型在不同数据分布下的鲁棒性与泛化能力？
• RQ5 所提出的方法是否能泛化到仅包含显式事件的其他时间推理基准？

主要发现

• 在 Tracie 上微调的 T5-Large 模型仅达到 67.9% 的二分类准确率，表明其在推理隐含事件方面存在显著局限。
• PtnTime 是一种在段落级时间模式上通过远程监督预训练的模型，在 Tracie 上将准确率提升至 76.6%，较标准 T5-Large 提升 9%。
• SymTime 结合 PtnTime 与持续时间模型，并应用符号推理，在 Tracie 上达到 78.9% 的准确率，较强基线模型提升 5%。
• 在无先验知识的训练设置下，SymTime 相较基线模型提升 11%，证明了远程监督在泛化能力上的强大优势。
• SymTime 在 MATRES（显式事件时间推理基准）上实现 1% 至 9% 的性能提升，表明其在其他时间推理任务中的可迁移性。
• 该模型对输入分布变化更具鲁棒性，在无故事设置下仅出现 4% 的性能下降，而 T5-Large 的下降幅度为 10%。