[论文解读] None Class Ranking Loss for Document-Level Relation Extraction

Zhou Yang, Wee Sun Lee|arXiv (Cornell University)|May 1, 2022

Text and Document Classification Technologies被引用 4

一句话总结

本文提出了一种新型多标签损失函数——无类别排名损失（NCRL），用于文档级关系抽取，通过在'无'类别与每个预定义关系类别之间强制设置较大的置信度分数差距，提升模型性能。通过建模标签相关性并实现上下文相关的阈值设定，NCRL 在正负样本类别不平衡和标签噪声场景下，相较于标准二元交叉熵损失表现更优，在 DocRED、DialogRE 和 GoEmotions 数据集上取得了当前最优结果。

ABSTRACT

Document-level relation extraction (RE) aims at extracting relations among entities expressed across multiple sentences, which can be viewed as a multi-label classification problem. In a typical document, most entity pairs do not express any pre-defined relation and are labeled as "none" or "no relation". For good document-level RE performance, it is crucial to distinguish such none class instances (entity pairs) from those of pre-defined classes (relations). However, most existing methods only estimate the probability of pre-defined relations independently without considering the probability of "no relation". This ignores the context of entity pairs and the label correlations between the none class and pre-defined classes, leading to sub-optimal predictions. To address this problem, we propose a new multi-label loss that encourages large margins of label confidence scores between each pre-defined class and the none class, which enables captured label correlations and context-dependent thresholding for label prediction. To gain further robustness against positive-negative imbalance and mislabeled data that could appear in real-world RE datasets, we propose a margin regularization and a margin shifting technique. Experimental results demonstrate that our method significantly outperforms existing multi-label losses for document-level RE and works well in other multi-label tasks such as emotion classification when none class instances are available for training.

研究动机与目标

• 为解决标准多标签损失（如二元交叉熵）在文档级关系抽取中的局限性，即忽略'无'类别并依赖全局阈值设定的问题。
• 通过显式建模'无'类别与预定义关系类别之间的关系，利用置信度分数差距，提升模型性能。
• 增强模型在真实世界文档级 RE 数据集中对正负样本类别不平衡及误标数据的鲁棒性。
• 通过将'无'类别得分用作实例特定阈值，实现上下文相关的阈值设定。

提出的方法

• 提出一种新型代理损失——无类别排名损失（NCRL），通过最大化'无'类别置信度分数与每个预定义关系类别之间的差距。
• 将多标签预测任务建模为排序问题：正样本关系的得分必须高于'无'类别，负样本关系的得分必须低于'无'类别。
• 引入边缘正则化技术，对那些置信度远低于'无'类别得分的负样本施加惩罚，缓解正负样本不平衡问题。
• 应用边缘偏移技术，降低异常高置信度得分的负样本的影响，提升对标签噪声的鲁棒性。
• 方法采用基于 BERT 的句子编码器生成上下文感知表示，随后通过分类器头预测关系得分。
• '无'类别得分作为动态阈值：任何得分高于'无'类别得分的关系均被预测为正样本。

实验结果

研究问题

• RQ1 一种显式建模'无'类别的多标签损失，是否能在文档级关系抽取中优于标准的二元交叉熵损失？
• RQ2 通过'无'类别得分学习实例相关的阈值，是否能比全局阈值设定带来更好的泛化性能？
• RQ3 NCRL 在处理文档级 RE 数据集中正负类别不平衡问题时，效果如何？
• RQ4 NCRL 是否对误标数据具有鲁棒性，特别是对那些具有异常高置信度得分的样本？
• RQ5 当存在'无'类别实例时，NCRL 是否能推广至其他多标签任务？

主要发现

• 在 DocRED 和 DialogRE 文档级关系抽取数据集上，NCRL 显著优于二元交叉熵及其他多标签损失方法。
• 在 DocRED 数据集上，NCRL 的测试 F1 得分为 73.13%，比表现第二好的方法（经调优的 per-label 阈值二元交叉熵）高出 1.29 分。
• NCRL 对超参数选择具有鲁棒性，尤其对边缘偏移参数 γ 的变化表现出极小的性能波动。
• 在 AAPD 数据集上，由于未提供'无'类别实例，NCRL 无法超越 BCE，证实'无'类别实例对 NCRL 的有效性至关重要。
• 边缘正则化与边缘偏移技术能有效降低噪声和不平衡样本的影响，提升模型泛化能力。
• NCRL 在 GoEmotions（细粒度情绪分类数据集）上也取得了当前最优性能，证实其在存在'无'类别实例的其他多标签任务中具有良好的泛化能力。