[论文解读] Sequence Generation with Label Augmentation for Relation Extraction

Bo Li, Dingyao Yu+3 more|arXiv (Cornell University)|Dec 29, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 RELA，一种用于关系抽取的序列到序列模型，通过自动生成关系标签的语义相关同义词和改写句来提升性能。通过使用 GPT-2 和同义词词典对关系名称进行增强，RELA 提升了模型的泛化能力，尤其在低资源和特定领域设置下表现优异，在四个基准数据集上取得了最先进结果。

ABSTRACT

Sequence generation demonstrates promising performance in recent information extraction efforts, by incorporating large-scale pre-trained Seq2Seq models. This paper investigates the merits of employing sequence generation in relation extraction, finding that with relation names or synonyms as generation targets, their textual semantics and the correlation (in terms of word sequence pattern) among them affect model performance. We then propose Relation Extraction with Label Augmentation (RELA), a Seq2Seq model with automatic label augmentation for RE. By saying label augmentation, we mean prod semantically synonyms for each relation name as the generation target. Besides, we present an in-depth analysis of the Seq2Seq model's behavior when dealing with RE. Experimental results show that RELA achieves competitive results compared with previous methods on four RE datasets.

研究动机与目标

• 探究关系名称语义和结构模式是否影响序列到序列模型在关系抽取中的性能。
• 解决关系标签通过语义相关变体进行丰富这一尚未充分探索的潜力，以提升模型泛化能力。
• 分析 BART 在关系抽取任务与标准生成任务之间的解码行为差异，特别是注意力机制动态和隐藏状态表征。
• 开发并评估一种简单但有效的标签增强策略，以在多种关系抽取数据集上提升性能，尤其在低资源场景下。

提出的方法

• 使用 GPT-2 通过原始关系名称和前缀短语提示，生成改写后的变体来增强关系标签。
• 通过直接提问提示将 GPT-2 用于生成给定上下文下的相关关系术语。
• 从现成词典中检索同义词，为每个关系名称扩展语义等价的术语。
• 微调 BART-large 模型，以序列到序列框架生成增强后的关系标签作为目标。
• 通过在每个训练样本中包含多个同义或改写后的标签，实现数据增强，以丰富标签空间。
• 可视化并分析解码器隐藏状态与注意力模式，以理解模型在关系抽取与标准生成任务之间的行为差异。

实验结果

研究问题

• RQ1 关系名称中的语义和结构相关性如何影响序列到序列模型在关系抽取中的性能？
• RQ2 通过同义词和改写句进行自动标签增强是否能显著提升基于序列到序列的关系抽取模型的泛化能力？
• RQ3 当生成关系名称时，BART 模型的解码行为与生成摘要等标准文本生成任务有何不同？
• RQ4 标签增强是否使解码器隐藏状态中的表征更具可分性和信息量？

主要发现

• 直接生成正确的关系名称可获得最高 F1 分数，而使用无意义或随机标签则显著降低性能，证实标签语义至关重要。
• 通过同义词和改写句进行标签增强可带来显著性能提升，尤其在低资源和特定领域数据集上，四组基准数据集均观察到性能改善。
• BART 在关系抽取任务中表现出独特的解码行为：其高度依赖 <bos> 标记，且基本忽略先前的解码输出，这与摘要任务中的行为不同。
• 余弦相似度分析显示，RELA 中的解码器隐藏状态在不同关系类型之间比标准 BART-RE 更具可分性，表明学习到的表征更优。
• PCA 可视化结果证实，RELA 在潜在空间中为不同关系名称生成了更清晰、更分离的聚类，表明语义消歧能力得到提升。
• BART-RE 的整体交叉熵较低，表明表征之间存在高度语义相关性，而标签增强有效缓解了这一问题，使潜在状态更具多样性与信息量。