[论文解读] Text2Event: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction

Yaojie Lu, Hongyu Lin+7 more|arXiv (Cornell University)|Jun 17, 2021

Topic Modeling参考文献 50被引用 14

一句话总结

Text2Event 提出了一种端到端事件抽取的序列到结构生成框架，直接将结构化的事件记录（类型、触发词、论元）作为自然语言标记生成。通过使用约束解码和课程学习，它仅需粗粒度的文本-记录标注即可实现最先进性能，无需细粒度的标记级标注，从而提升了数据效率和模型泛化能力。

ABSTRACT

Event extraction is challenging due to the complex structure of event records and the semantic gap between text and event. Traditional methods usually extract event records by decomposing the complex structure prediction task into multiple subtasks. In this paper, we propose Text2Event, a sequence-to-structure generation paradigm that can directly extract events from the text in an end-to-end manner. Specifically, we design a sequence-to-structure network for unified event extraction, a constrained decoding algorithm for event knowledge injection during inference, and a curriculum learning algorithm for efficient model learning. Experimental results show that, by uniformly modeling all tasks in a single model and universally predicting different labels, our method can achieve competitive performance using only record-level annotations in both supervised learning and transfer learning settings.

研究动机与目标

• 解决基于分解的事件抽取方法所面临的局限，这些方法需要细粒度的多任务标注，并且存在错误传播问题。
• 将所有事件抽取子任务——触发词检测、论元分类和事件类型预测——统一到一个单一的、端到端的序列到结构生成框架中。
• 通过仅在粗粒度的文本-记录对上进行训练，提升数据效率，而非依赖大量标记级标注。
• 通过课程学习和推理时动态注入事件模式，提升模型学习与泛化能力。

提出的方法

• 提出一种序列到结构的神经网络，将事件记录作为自然语言序列生成，将事件标签（如 'Transport', 'Arg1'）视为标记。
• 引入一种约束解码算法，利用事件模式引导生成过程，确保推理期间的结构正确性。
• 采用课程学习策略，先从子结构任务（如触发词或论元生成）开始训练，再过渡到完整事件结构生成。
• 利用预训练语言模型（PLMs）进行参数初始化，并通过将标签编码为自然语言词汇实现知识迁移。
• 采用统一架构同时建模事件类型、触发词和论元，实现在各组件间的共享表征学习。
• 将事件结构预测视为文本生成任务，输出为表示完整事件记录的结构化标记序列。

实验结果

研究问题

• RQ1 统一的序列到结构生成模型是否能在最小监督设置下，优于基于分解的方法在端到端事件抽取中的表现？
• RQ2 在推理过程中，通过约束解码注入事件模式知识，在提升结构准确性方面有多有效？
• RQ3 课程学习在多大程度上改善了模型收敛与性能，尤其是在低资源设置下？
• RQ4 将事件标签以自然语言形式编码，是否相比符号化标签表示，能实现更好的预训练模型知识迁移？

主要发现

• Text2Event 仅使用记录级标注，在 ACE05-EN 和 ERE 数据集上实现了最先进性能，在监督和迁移学习设置下均优于先前最先进方法。
• 在仅使用 1% 数据训练时，约束解码使 Trig-C F1 平均提升 6.7 分，表明其在低资源场景下的强有效性。
• 课程学习使 Trig-C F1 平均提升 4.7 分，Arg-C F1 平均提升 5.8 分，显示出其在模型优化中的价值。
• 移除约束解码会显著降低性能，尤其是在低资源设置下，证实其在保持结构保真度方面的重要作用。
• 将标签编码为自然语言词汇（如 'Transport', 'Arg1'）能有效实现来自预训练模型的知识迁移，而符号化标签（如 'T', 'A1'）则导致性能差。
• 该模型在完整的 ACE05-EN 开发集上实现了 71.4 的 Trig-C F1 和 53.3 的 Arg-C F1，展现出强大的泛化能力和鲁棒性。