[论文解读] TwoWingOS: A Two-Wing Optimization Strategy for Evidential Claim Verification

Wenpeng Yin, Dan Roth|arXiv (Cornell University)|Aug 10, 2018

Topic Modeling参考文献 20被引用 4

一句话总结

该论文提出 TwoWingOS，一种联合优化框架，可在单一端到端模型中同时识别支持证据并验证声明真值，相较于流水线方法，在 FEVER 基准测试中实现证据识别 F1 值提升 30%，声明验证准确率提升 23%。

ABSTRACT

Determining whether a given claim is supported by evidence is a fundamental NLP problem that is best modeled as Textual Entailment. However, given a large collection of text, finding evidence that could support or refute a given claim is a challenge in itself, amplified by the fact that different evidence might be needed to support or refute a claim. Nevertheless, most prior work decouples evidence identification from determining the truth value of the claim given the evidence. We propose to consider these two aspects jointly. We develop TwoWingOS (two-wing optimization strategy), a system that, while identifying appropriate evidence for a claim, also determines whether or not the claim is supported by the evidence. Given the claim, TwoWingOS attempts to identify a subset of the evidence candidates; given the predicted evidence, it then attempts to determine the truth value of the corresponding claim. We treat this challenge as coupled optimization problems, training a joint model for it. TwoWingOS offers two advantages: (i) Unlike pipeline systems, it facilitates flexible-size evidence set, and (ii) Joint training improves both the claim entailment and the evidence identification. Experiments on a benchmark dataset show state-of-the-art performance. Code: https://github.com/yinwenpeng/FEVER

研究动机与目标

• 为解决流水线系统将证据识别与声明验证解耦所导致的性能次优问题。
• 开发一种联合学习框架，实现证据检索与声明验证之间的相互增强。
• 处理灵活大小的证据集合，而非依赖单句前提。
• 在保持高声明验证准确率的同时，提升证据识别的精确率与召回率。
• 通过在 FEVER 基准测试上的实证评估，证明联合优化的有效性。

提出的方法

• TwoWingOS 使用声明的共享表征，将声明验证与证据识别建模为耦合优化问题。
• 模型使用二值向量从语料库中选择候选证据句子子集，并使用 n 值向量预测蕴涵标签（蕴涵、矛盾或无标签）。
• 一个共享神经网络对声明与候选证据进行编码，实现两个模块的联合训练。
• 该框架将证据识别与声明验证视为相互依赖的任务，使训练过程中两者可实现知识迁移。
• 模型在 FEVER 数据集上端到端训练，采用联合损失函数同时优化两个目标。
• 系统采用注意力机制与上下文表征，捕捉多条证据句子之间的依赖关系。

实验结果

研究问题

• RQ1 与流水线方法相比，联合优化证据识别与声明验证是否能提升性能？
• RQ2 能够选择可变大小证据集合的能力是否能提升验证准确率？
• RQ3 证据检索与蕴涵预测之间共享表征学习如何影响模型泛化能力？
• RQ4 实体提及与多句证据组合在多大程度上改善验证结果？
• RQ5 在证据识别的精确率、召回率与 F1 值方面，联合训练方案与独立训练相比表现如何？

主要发现

• 与流水线基线相比，TwoWingOS 在 FEVER 基准测试中实现证据识别 F1 值相对提升 30%。
• 该模型在声明验证准确率上较基线流水线系统提升约 23%。
• 无论证据集合大小如何，系统在不同证据集合规模下均保持高精确率（超过 80%），即使在大金标准证据集合中召回率下降时亦如此。
• 联合训练方案显著优于流水线架构，尤其在处理需要多句证据的复杂声明时表现更优。
• 错误分析显示，该模型在处理 OOV（未登录词）术语时表现不佳，且在某些反驳中需要背景知识，表明其在语义泛化方面仍有改进空间。
• 对于仅需单句即可验证的声明，模型表现稳健，因为 FEVER 数据集中 83.18% 的声明仅凭一条金标准证据句子即可正确蕴涵。