[论文解读] Scale Up Event Extraction Learning via Automatic Training Data Generation

Ying Zeng, Yansong Feng+5 more|arXiv (Cornell University)|Dec 11, 2017

Topic Modeling参考文献 21被引用 3

一句话总结

本文提出了一种远程监督方法，通过利用Freebase和Wikipedia表格等结构化知识库，自动生成高质量的事件抽取训练数据，从而无需人工标注。通过使用关键论元而非显式触发词，该方法将训练数据规模从数千个实例扩展至数十万个实例，使一种带有后处理推理的神经网络模型在极少人工干预下实现了多类型事件检测的最先进性能。

ABSTRACT

The task of event extraction has long been investigated in a supervised learning paradigm, which is bound by the number and the quality of the training instances. Existing training data must be manually generated through a combination of expert domain knowledge and extensive human involvement. However, due to drastic efforts required in annotating text, the resultant datasets are usually small, which severally affects the quality of the learned model, making it hard to generalize. Our work develops an automatic approach for generating training data for event extraction. Our approach allows us to scale up event extraction training instances from thousands to hundreds of thousands, and it does this at a much lower cost than a manual approach. We achieve this by employing distant supervision to automatically create event annotations from unlabelled text using existing structured knowledge bases or tables.We then develop a neural network model with post inference to transfer the knowledge extracted from structured knowledge bases to automatically annotate typed events with corresponding arguments in text.We evaluate our approach by using the knowledge extracted from Freebase to label texts from Wikipedia articles. Experimental results show that our approach can generate a large number of high quality training instances. We show that this large volume of training data not only leads to a better event extractor, but also allows us to detect multiple typed events.

研究动机与目标

• 解决监督式事件抽取中因小规模人工标注训练数据集而产生的瓶颈问题。
• 通过依赖结构化知识库中的关键论元，消除对人工标注事件触发词的需求。
• 利用远程监督技术，将事件抽取的训练数据规模从数千个实例扩展至数十万个实例。
• 通过利用大规模自动生成的训练数据，实现有效的多类型事件检测。
• 开发一种无需显式触发词识别的神经网络模型，并结合后处理推理。

提出的方法

• 利用结构化知识库（例如Freebase、Wikipedia表格）识别定义事件类型的关键词论元。
• 应用远程监督技术，使用这些关键词论元作为事件类型的代理，自动标注非结构化文本（例如Wikipedia文章）。
• 设计启发式规则，从结构化表格中识别最具信息量的关键论元，以最好地表征事件类型。
• 设计一种神经网络架构（BLSTM-CRF-ILP），实现事件抽取，且不依赖显式事件触发词。
• 在后处理推理中使用整数线性规划（ILP），以优化预测结果并确保论元一致性。
• 通过命名实体识别及时间/句法线索，将文本片段与结构化表格条目匹配，生成训练数据。

实验结果

研究问题

• RQ1 能否利用结构化知识库中的关键论元，在无需显式触发词标注的情况下推断事件类型？
• RQ2 利用结构化表格进行远程监督，在多大程度上能生成高质量的事件抽取训练数据？
• RQ3 在自动生成的数据上进行训练的神经网络模型，能否有效检测多种事件类型？
• RQ4 与人工标注数据集相比，所提出方法在事件类型分类和论元检测的F1得分上表现如何？
• RQ5 该模型能否仅通过基于表格的监督，泛化到包括商业并购、奥运会获奖和奖项等多样化事件类型？

主要发现

• 所提出方法生成的训练数据集规模是广泛使用的ACE挑战数据集的14倍，且仅耗时数小时而非数年。
• 自动生成的训练数据在F1得分上与人工标注数据相当，其中并购事件达到87.0%，奥运会事件达到77.2%，奖项事件达到95.0%。
• 在TBWiki数据集上，关键论元检测（KAD）的F1得分为72.0%，所有论元检测（AAD）的F1得分为69.6%，表现出强大的泛化能力。
• 该方法实现了有效的多类型事件检测，这是以往方法极少支持的能力。
• 使用关键论元而非触发词，使模型即使在缺乏显式事件触发词（如'bankrupt'或'filed'动词）的句子中也能检测到事件。
• ILP后处理推理的集成显著提升了论元一致性和整体抽取质量。