[论文解读] One for All: Neural Joint Modeling of Entities and Events

Trung Minh Nguyen, Thien Huu Nguyen|arXiv (Cornell University)|Dec 1, 2018

Topic Modeling参考文献 36被引用 6

一句话总结

本文提出一种统一的深度学习模型，通过共享的双向RNN隐藏表示，联合执行提及实体检测、事件触发词识别和论元角色预测。通过消除独立流水线中的误差传播并利用端到端学习，该模型在ACE 2005数据集上实现了SOTA的F1分数：81.2（EMD）、69.8（ED）和52.1（ARP），且无需依赖人工设计的特征。

ABSTRACT

The previous work for event extraction has mainly focused on the predictions for event triggers and argument roles, treating entity mentions as being provided by human annotators. This is unrealistic as entity mentions are usually predicted by some existing toolkits whose errors might be propagated to the event trigger and argument role recognition. Few of the recent work has addressed this problem by jointly predicting entity mentions, event triggers and arguments. However, such work is limited to using discrete engineering features to represent contextual information for the individual tasks and their interactions. In this work, we propose a novel model to jointly perform predictions for entity mentions, event triggers and arguments based on the shared hidden representations from deep learning. The experiments demonstrate the benefits of the proposed method, leading to the state-of-the-art performance for event extraction.

研究动机与目标

• 解决传统流水线式事件抽取系统中因提及实体检测错误导致下游触发词和论元预测错误传播的问题。
• 通过共享隐藏表示，实现提及实体检测、事件触发词检测和论元角色预测之间的知识共享与交互。
• 开发一种端到端神经网络模型，避免依赖人工设计的特征（如依存路径或名录信息）。
• 通过联合建模所有三个子任务的深度学习方法，而非离散特征工程，提升事件抽取性能。

提出的方法

• 使用双向RNN生成句子中所有词的共享隐藏表示，捕捉整个序列的上下文依赖关系。
• 直接从共享隐藏状态进行提及实体检测、事件触发词检测和论元角色预测。
• 采用联合CRF层建模三个子任务之间的标签依赖关系，提升一致性并减少误差传播。
• 使用联合损失函数联合训练整个模型，整合所有三个子任务的目标。
• 通过直接从词嵌入和RNN架构学习上下文表示，消除对外部特征的依赖。
• 利用注意力机制聚焦于每个预测任务的相关上下文，提升表示质量。

实验结果

研究问题

• RQ1 通过共享深度表示联合建模提及实体检测、事件触发词检测和论元角色预测，是否能优于流水线方法？
• RQ2 单一端到端深度学习模型在多大程度上可以替代事件抽取中对手工设计特征的依赖？
• RQ3 与独立建模相比，共享隐藏表示学习在多大程度上提升了所有三个子任务的性能？
• RQ4 移除外部特征后对模型性能有何影响？纯神经方法是否仍能实现SOTA结果？

主要发现

• 所提出的端到端深度学习模型在ACE 2005数据集上实现了SOTA的F1分数：提及实体检测为81.2，事件触发词检测为69.8，论元角色预测为52.1。
• 即使不使用外部特征，端到端模型（End-to-end-DL）的性能仍可与高度依赖手工特征的SOTA模型相媲美，在论元预测任务上比Joint-Feature-Document高出1.9%。
• 通过联合学习所有三个子任务，模型有效减少了误差传播，触发词识别和论元分类均受益于共享的上下文表示。
• 误差分析表明，主要挑战在于检测罕见触发词（如“intifada”）以及区分相似角色（如Place与Destination），提示模型架构仍有改进空间。
• 移除外部特征仅导致性能小幅下降，表明共享表示学习方法具有强鲁棒性和泛化能力。