[论文解读] Unified Structure Generation for Universal Information Extraction

Yaojie Lu, Qing Liu+6 more|arXiv (Cornell University)|Mar 23, 2022

Advanced Text Analysis Techniques被引用 9

一句话总结

本文提出UIE，一种统一的文本到结构生成框架，通过单一架构建模多种信息抽取任务（如实体、关系、事件和情感抽取）。通过使用结构化抽取语言和基于模式的提示机制（结构化模式引导器），UIE能够自适应地生成特定任务的输出，并在13个数据集上实现了监督、少样本和低资源设置下的最先进性能，展现出强大的泛化能力和可迁移性。

ABSTRACT

Information extraction suffers from its varying targets, heterogeneous structures, and demand-specific schemas. In this paper, we propose a unified text-to-structure generation framework, namely UIE, which can universally model different IE tasks, adaptively generate targeted structures, and collaboratively learn general IE abilities from different knowledge sources. Specifically, UIE uniformly encodes different extraction structures via a structured extraction language, adaptively generates target extractions via a schema-based prompt mechanism - structural schema instructor, and captures the common IE abilities via a large-scale pre-trained text-to-structure model. Experiments show that UIE achieved the state-of-the-art performance on 4 IE tasks, 13 datasets, and on all supervised, low-resource, and few-shot settings for a wide range of entity, relation, event and sentiment extraction tasks and their unification. These results verified the effectiveness, universality, and transferability of UIE.

研究动机与目标

• 为解决信息抽取中任务专用模型带来的知识共享与跨领域适应障碍问题。
• 将实体、关系、事件、情感等多样化的IE任务统一到单一可泛化的框架下。
• 通过模式感知的提示机制，实现对异构抽取结构的自适应生成。
• 预训练一个大规模的文本到结构模型，以捕捉跨任务和数据源的共享IE能力。
• 通过有效的迁移学习提升在低资源和少样本设置下的性能。

提出的方法

• 提出一种结构化抽取语言（SEL），以统一格式表示多样化的IE结构，如跨度、三元组和记录。
• 引入结构化模式引导器（SSI），一种基于模式的提示机制，用于控制UIE中需识别、关联和生成的内容。
• 采用在异构网络来源数据集上预训练的大规模文本到结构模型，以学习通用的IE能力。
• 使用序列到序列的生成框架，输入为原始文本，输出为SEL格式的结构化抽取结果。
• 应用少样本和零样本提示策略，以极少量标注数据适应新任务。
• 利用迁移学习，通过最小的架构修改对预训练模型进行微调，以适应下游IE任务。

实验结果

研究问题

• RQ1 单一统一的架构能否有效建模具有异构输出结构的多样化信息抽取任务？
• RQ2 基于模式的提示机制能否在无需架构重新训练的情况下，动态控制特定任务结构的生成？
• RQ3 在大规模异构数据上进行预训练，是否能提升信息抽取中的泛化能力和少样本适应能力？
• RQ4 与任务专用模型相比，统一框架在监督、低资源和少样本设置下的表现如何？
• RQ5 在实体、关系、事件和情感抽取任务之间，共享的IE能力在多大程度上可以被学习并实现迁移？

主要发现

• UIE在13个数据集上实现了四个主要IE任务（实体、关系、事件和情感抽取）的最先进性能。
• 在监督设置下，UIE在F1分数上平均比最佳任务专用基线模型高出1.42%。
• 在少样本和低资源设置下，UIE显著优于基线模型，展现出强大的按需适应能力和可迁移性。
• 预训练的UIE模型有效捕捉了共享的IE能力，使模型能够以极少的标注数据快速适应新任务。
• 结构化模式引导器机制实现了对抽取内容及其结构的精确、动态控制，基于任务模式进行调整。
• 统一框架减少了对任务专用架构和孤立模型的需求，实现了IE任务间的知识共享。