[论文解读] Universal Information Extraction as Unified Semantic Matching

Jie Lou, Yaojie Lu+6 more|arXiv (Cornell University)|Jan 9, 2023

Advanced Text Analysis Techniques被引用 7

一句话总结

USM 将通用信息抽取重新定义为通过有向标记连接的统一语义匹配，以共同编码模式与文本，达到最前沿的结果与强零-/少样本迁移能力。

ABSTRACT

The challenge of information extraction (IE) lies in the diversity of label schemas and the heterogeneity of structures. Traditional methods require task-specific model design and rely heavily on expensive supervision, making them difficult to generalize to new schemas. In this paper, we decouple IE into two basic abilities, structuring and conceptualizing, which are shared by different tasks and schemas. Based on this paradigm, we propose to universally model various IE tasks with Unified Semantic Matching (USM) framework, which introduces three unified token linking operations to model the abilities of structuring and conceptualizing. In this way, USM can jointly encode schema and input text, uniformly extract substructures in parallel, and controllably decode target structures on demand. Empirical evaluation on 4 IE tasks shows that the proposed method achieves state-of-the-art performance under the supervised experiments and shows strong generalization ability in zero/few-shot transfer settings.

研究动机与目标

• 将信息抽取解耦为两种核心能力——结构化与概念化——以实现跨任务在多样化模式下的迁移。
• 以单一框架统一建模多种 IE 任务，在任务与标签模式之间共享提取能力。
• 以异质 supervision 对通用基础模型进行预训练，提升 IE 的可迁移性与泛化能力。

提出的方法

• 将标签模式口述为标记序列，并通过 Transformer 编码器计算联合的标签-文本嵌入。
• 三种统一的标记连接操作：Token-Token Linking (TTL) 用于结构化子结构；Label-Token Linking (LTL) 用于 utterance 的概念化；Token-Label Linking (TLL) 用于配对概念化。
• 利用模式约束解码在输出时组装最终结构，同时在输出阶段对不同模式分离类型。
• 使用异质 supervision 信号（任务、 distant、 indirect）对 USM 进行预训练，以学习共享的结构化与概念化能力；使用专门的损失处理连接信号的极端稀疏性。
• 端到端、非自回归抽取，支持并行解码子结构并按需生成目标结构。

Figure 1: The USM framework for UIE. USM takes label schema and text as input and directly outputs the target structure through the Structuring and Conceptualizing operations.

实验结果

研究问题

• RQ1 不同标签模式的 IE 任务是否可以通过共享的结构化与概念化能力实现统一建模？
• RQ2 统一的标记连接是否能实现有效的跨任务、跨模式的迁移，包括零-shot/少样本设置？
• RQ3 异质 supervision 对学习通用结构化与概念化能力有哪些影响？
• RQ4 模式约束解码如何在基于统一连接结果的前提下实现最终 IE 结构的准确组装？

主要发现

• USM 在 13 个数据集上的实体、关系、事件与情感抽取任务，在监督、跨任务以及零-shot/少样本设置下均取得了最前沿的结果。
• 使用异质 supervision 进行预训练，相比仅任务级预训练带来改进，显示出更强的迁移与泛化能力。
• 单一的多任务 USM 模型（Unify）通过统一的标记连接解决大规模 IE 任务，在平均水平上超越任务特定的 SOTA 方法。
• 零-shot 遷移显示出强跨类型能力，USM 在某些设置下优于 GPT-3 与 DeepStruct 等基线。
• 少样本结果表明 USM 在平均性能上优于 UIE-large，突出标注语义的口述化相对于符号表示的优点。

Figure 2: The overall framework of Unified Semantic Matching.