[论文解读] Span Model for Open Information Extraction on Accurate Corpus

Junlang Zhan, Hai Zhao|arXiv (Cornell University)|Jan 30, 2019

Natural Language Processing Techniques参考文献 32被引用 7

一句话总结

本文提出 SpanOIE，这是首个基于跨度的 $n$-元开放信息抽取模型，通过改进的跨度选择框架提升抽取准确率。该工作引入了一个高质量、人工重新标注的测试集（Re-OIE2016）以及一个包含低置信度但有用抽取结果的优化训练语料，使模型在 OIE2016 和 Re-OIE2016 基准上均达到当前最优性能。

ABSTRACT

Open information extraction (Open IE) is a challenging task especially due to its brittle data basis. Most of Open IE systems have to be trained on automatically built corpus and evaluated on inaccurate test set. In this work, we first alleviate this difficulty from both sides of training and test sets. For the former, we propose an improved model design to more sufficiently exploit training dataset. For the latter, we present our accurately re-annotated benchmark test set (Re-OIE6) according to a series of linguistic observation and analysis. Then, we introduce a span model instead of previous adopted sequence labeling formulization for n-ary Open IE. Our newly introduced model achieves new state-of-the-art performance on both benchmark evaluation datasets.

研究动机与目标

• 解决由噪声较多、自动构建的训练与测试语料导致的开放信息抽取系统脆弱性问题。
• 通过利用训练数据中低置信度但潜在有用的抽取结果，提升模型性能。
• 通过人工重新标注 OIE2016 测试集，构建更准确的基准，降低噪声并提升评估可靠性。
• 提出一种基于跨度的 $n$-元开放信息抽取模型，突破传统序列标注方法，更好地利用跨度级特征。
• 通过引入语法感知的跨度特征，研究句法依存信息对开放信息抽取性能的影响。

提出的方法

• 设计一种跨度选择模型，将开放信息抽取建模为选择谓词和论元角色的跨度，基于神经编码的得分函数进行预测。
• 通过扩展 ( ? ) 的方法构建大规模训练语料，支持 $n$-元抽取，并整合 OpenIE4 中的低置信度三元组。
• 引入一种语法感知的跨度特征，将依存解析信息（如父节点词表示）融入跨度嵌入表示中。
• 使用 BiLSTM 编码器生成上下文相关的词表示，随后通过拼接与投影层进行跨度级得分计算。
• 在跨度表示上应用多头注意力机制，以优化预测结果并提升泛化能力。
• 使用语法无关与语法感知两种特征联合微调模型，评估句法信息对性能的影响。

实验结果

研究问题

• RQ1 基于跨度的模型是否能在 $n$-元开放信息抽取任务中超越传统的序列标注方法？
• RQ2 在训练数据中引入 OpenIE4 中的低置信度抽取结果，是否能提升模型的泛化能力与性能表现？
• RQ3 当句法依存信息被整合进跨度级特征时，其对开放信息抽取性能的提升程度如何？
• RQ4 与自动构建的基准相比，人工重新标注的测试集（Re-OIE2016）在多大程度上提升了开放信息抽取评估的可靠性？
• RQ5 统一模型是否能有效抽取复杂句法结构中的代词与非代词论元？

主要发现

• SpanOIE 在 OIE2016 基准上取得新的最先进性能，F1 得分为 0.639，超越此前所有模型。
• 在新引入的 Re-OIE2016 基准上，SpanOIE 同样取得 F1 得分为 0.639，表明其在更清洁、经人工验证的测试集上具备更强的鲁棒性与准确性。
• 在训练数据中引入低置信度抽取结果带来了可测量的性能增益，尤其在处理复杂或罕见的论元模式时表现更优。
• 与语法无关模型相比，语法感知跨度特征略微降低性能（OIE2016 上 AUC 为 0.487，Re-OIE2016 上为 0.639），表明训练数据中的噪声与解析错误限制了句法信息的增益。
• 该模型成功捕捉了具有挑战性的抽取模式，例如带有远距离主语的现在分词谓词，相较于先前模型在 [Yost was named manager...] 等案例中表现更优。
• 尽管存在局限性，该模型证明了基于跨度建模在 $n$-元开放信息抽取中的可行性，并凸显了高质量训练数据与句法输入对释放模型全部潜力的重要性。