[论文解读] Prototypical Representation Learning for Relation Extraction

Ning Ding, Xiaobin Wang+8 more|arXiv (Cornell University)|Mar 22, 2021

Topic Modeling参考文献 68被引用 38

一句话总结

这篇论文提出一个原型化表示学习框架用于关系抽取，从远程标注数据中学习关系原型和陈述编码，优化陈述-陈述和原型-陈述目标，以提升在监督、少样本和零样本设置下的鲁棒性、可解释性和性能。

ABSTRACT

Recognizing relations between entities is a pivotal task of relational learning. Learning relation representations from distantly-labeled datasets is difficult because of the abundant label noise and complicated expressions in human language. This paper aims to learn predictive, interpretable, and robust relation representations from distantly-labeled data that are effective in different settings, including supervised, distantly supervised, and few-shot learning. Instead of solely relying on the supervision from noisy labels, we propose to learn prototypes for each relation from contextual information to best explore the intrinsic semantics of relations. Prototypes are representations in the feature space abstracting the essential semantics of relations between entities in sentences. We learn prototypes based on objectives with clear geometric interpretation, where the prototypes are unit vectors uniformly dispersed in a unit ball, and statement embeddings are centered at the end of their corresponding prototype vectors on the surface of the ball. This approach allows us to learn meaningful, interpretable prototypes for the final classification. Results on several relation learning tasks show that our model significantly outperforms the previous state-of-the-art models. We further demonstrate the robustness of the encoder and the interpretability of prototypes with extensive experiments.

研究动机与目标

• 动机：从带噪声的远程标注数据中推动鲁棒的关系表示学习。
• 提出每个关系的原型以捕捉关键语义。
• 开发几何启发的目标，强调整体内的紧凑性和类间分离性。
• 在大规模远程标注数据上进行预训练，并对目标任务进行微调。
• 展示在监督、少样本和模糊评估设置下的性能和可解释性的提升。

提出的方法

• 将关系原型定义为单位球上的单位向量，陈述定义为围绕原型表面中心化的单位向量。
• 使用基于几何的相似性度量 d(s_i,s_j) 和 d(s,z)，基于归一化嵌入（单位球上的夹角）。
• 引入陈述-陈述损失 L_S2S 以鼓励类内紧凑性和类间分离。
• 引入原型-陈述损失 L_S2Z 和 L_S2Z' 以保证陈述聚集在其原型周围并与其他原型保持距离。
• 包含一个原型级分类器损失 L_CLS，将原型正则化为带标签的中心。
• 用超参数将损失组合，形成完整目标 L = λ1 L_S2S + λ2 (L_S2Z + L_S2Z') + λ3 L_CLS。
• 采用预训练-微调范式，在远程标注数据上进行预训练，并针对监督和少样本设置进行微调。
• 在监督关系抽取（SemEval 2010 Task 8）、少样本（FewRel）以及提出的模糊关系数据集（FuzzyRED）上进行评估。
• 将编码器实现为 BERT-base，具有基于变换器的关系编码器和基于原型的目标；在约 0.86M 条来自 Wikidata-Wikipedia 的远程标注陈述上进行预训练，然后微调。

实验结果

研究问题

• RQ1 从远程标注数据学习的原型化表示是否能够在不同监督程度下产生鲁棒且可解释的关系表示？
• RQ2 相较于传统的交叉熵，在关系抽取中以原型为中心的损失是否提升了类内紧凑性和类间可分离性？
• RQ3 预训练的原型编码器在监督、少样本和零样本关系学习任务中的迁移能力如何？
• RQ4 该方法是否通过几何原型可视化和探测数据集（FuzzyRED）支持关系簇的可解释性？

主要发现

• 在监督、少样本和零样本设置下，相对于最新基线取得显著性能提升。
• 原型可学习为单位球上的单位向量，陈述聚集在原型方向周围；几何驱动的损失产生可解释的簇。
• 原型级正则化在带噪声标签下减少决策边界扭曲并提高远程监督场景的鲁棒性。
• 在 FewRel 的 5-way/1-shot 和 10-way/1-shot 任务上取得强劲结果，在某些配置接近或超过人类表现。
• FuzzyRED 评估显示预训练编码器优于远程标签基线，COL（组合损失）在对标签噪声具有最佳鲁棒性方面表现最好。