[论文解读] Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding

Sijia Wang, Mo Yu+3 more|arXiv (Cornell University)|Oct 14, 2021

Natural Language Processing Techniques被引用 12

一句话总结

本文提出了一种新颖的查询与抽取框架用于事件抽取，将事件类型和论元角色视为自然语言查询，利用注意力机制提升与输入文本的语义对齐。通过将触发词和论元检测形式化为类型导向的二值解码，该方法在ACE和ERE数据集上实现了最先进性能，零样本泛化能力显著提升——与强基线相比，触发词检测F1提升16%，论元检测F1提升26%。

ABSTRACT

Event extraction is typically modeled as a multi-class classification problem where event types and argument roles are treated as atomic symbols. These approaches are usually limited to a set of pre-defined types. We propose a novel event extraction framework that uses event types and argument roles as natural language queries to extract candidate triggers and arguments from the input text. With the rich semantics in the queries, our framework benefits from the attention mechanisms to better capture the semantic correlation between the event types or argument roles and the input text. Furthermore, the query-and-extract formulation allows our approach to leverage all available event annotations from various ontologies as a unified model. Experiments on ACE and ERE demonstrate that our approach achieves state-of-the-art performance on each dataset and significantly outperforms existing methods on zero-shot event extraction.

研究动机与目标

• 解决传统事件抽取方法将事件类型和论元角色视为原子符号所带来的局限，忽略其丰富的语义信息。
• 通过利用语义查询，克服现有模型在新事件类型或未见本体上的泛化能力差的问题。
• 开发一种统一框架，能够有效利用来自多个事件本体的训练数据，而无需重新训练或重新配置。
• 通过实现每个事件触发词的一次性编码与解码，提升论元抽取的效率与准确性。
• 通过利用自然语言查询的语义丰富性，无需依赖手工设计的问题模板，实现稳健的零样本事件抽取。

提出的方法

• 将每个事件类型表示为由其名称和一组原型触发词组成的自然语言查询（例如，'Attack' 搭配 'invaded', 'airstrikes'）。
• 使用预训练的BERT编码器联合编码输入句子和每个事件类型查询，以生成查询感知的上下文表示。
• 通过输入词元与查询嵌入之间的注意力分布，对每个词元执行二值解码，以识别触发词候选。
• 对于论元抽取，将给定事件类型下的所有论元角色聚合为一个单一查询，然后应用多路注意力机制，联合预测所有论元。
• 对预先检测到的实体执行二值解码以预测论元角色，减少边界错误并提升效率。
• 通过将所有事件类型和论元角色视为自然语言查询，利用跨本体标注，实现统一训练和零样本推理。

实验结果

研究问题

• RQ1 事件抽取能否被重新定义为一种查询与抽取任务，以更好地捕捉事件类型与输入文本之间的语义关系？
• RQ2 使用自然语言查询表示事件类型和论元角色，能否提升对未见事件类型和本体的泛化能力？
• RQ3 在多个事件本体上联合训练的统一模型，是否能在监督和零样本事件抽取任务上均实现更优性能？
• RQ4 与序列化或基于问答的方法相比，每个事件触发词实现一次编码与解码所有论元的策略，是否能提升效率与准确性？
• RQ5 与现有基于问答的方法相比，完全摒弃手工设计的问题模板，在多大程度上能提升鲁棒性与性能？

主要发现

• 所提出的查询与抽取框架在ACE和ERE基准上的标准监督事件抽取任务中均实现了最先进性能。
• 在零样本事件抽取设置下，与强基线相比，该模型在触发词检测上的F1提升16个百分点，在论元检测上的F1提升26个百分点。
• 该方法在零样本设置下显著优于基于问答的方法，展现出卓越的泛化能力，且无需依赖高质量的问题模板。
• 与BERT_QA_Arg相比，一次编码与解码所有论元的策略将训练和推理时间减少了36%，显著提升了效率。
• 该模型在细粒度的MAVEN数据集上也保持了强劲性能，在触发词检测任务上达到68.8%的F1，尽管任务复杂度更高。
• 该框架通过将多样化事件本体统一为单一可扩展的模型架构，有效利用了跨本体标注。