[论文解读] The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling Analysis

Haiyang Yu, Ningyu Zhang+4 more|arXiv (Cornell University)|Sep 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 16被引用 16

一句话总结

本文提出了一种新型分类器——注意力关系路由（Attentive Relation Routing, ARR），该分类器将表示学习与分类器设计解耦，以解决长尾关系分类问题。通过动态分配关系的软注意力权重，ARR在不降低头部性能的前提下提升了尾部性能，在FewRel-LT上实现+5%的宏平均F1，在TACRED上实现+3%的微平均F1，表明在长尾NLP任务中，分类器设计比表示学习更为关键。

ABSTRACT

Long-tailed relation classification is a challenging problem as the head classes may dominate the training phase, thereby leading to the deterioration of the tail performance. Existing solutions usually address this issue via class-balancing strategies, e.g., data re-sampling and loss re-weighting, but all these methods adhere to the schema of entangling learning of the representation and classifier. In this study, we conduct an in-depth empirical investigation into the long-tailed problem and found that pre-trained models with instance-balanced sampling already capture the well-learned representations for all classes; moreover, it is possible to achieve better long-tailed classification ability at low cost by only adjusting the classifier. Inspired by this observation, we propose a robust classifier with attentive relation routing, which assigns soft weights by automatically aggregating the relations. Extensive experiments on two datasets demonstrate the effectiveness of our proposed approach. Code and datasets are available in https://github.com/zjunlp/deepke.

研究动机与目标

• 探究表示学习与分类器设计中，哪一者对长尾关系分类更为关键。
• 将分类器学习与表示学习解耦，以更好地理解长尾性能背后的机制。
• 通过一种稳健且自适应的分类器，提升尾部关系分类性能，同时不损害头部性能。
• 开发一种软加权机制，动态地在关系之间路由注意力，以提升判别能力。

提出的方法

• 作者开展两阶段解耦分析：首先使用实例平衡采样训练固定的BERT编码器，然后评估不同的分类器训练策略。
• 提出注意力关系路由（ARR），一种受胶囊网络中动态路由启发的软加权机制，在分类过程中为关系分配基于注意力的权重。
• ARR通过注意力机制聚合关系表征，使分类器能够自适应地聚焦于信息量更高的关系。
• 该方法采用交叉熵损失进行端到端训练，路由权重通过反向传播进行更新，以提升判别能力。
• 在FewRel-LT（FewRel的长尾变体）和TACRED上评估该方法，使用宏平均F1和微平均F1作为指标。
• 作者发布了代码和一个长尾关系分类测试平台，以支持可复现性及未来基准测试。

实验结果

研究问题

• RQ1 表示学习还是分类器学习对长尾关系分类更为重要？
• RQ2 一个训练良好的分类器是否可以在不重新训练表示编码器的情况下弥补数据不平衡问题？
• RQ3 在长尾设置下，注意力路由等软加权机制是否优于硬加权或固定分类器？
• RQ4 解耦分类器是否能在不损害头部性能的前提下提升尾部性能？

主要发现

• 在固定BERT编码器的前提下，分类器重加权（如RWL、FCL、DSL）和重采样（如PBS）显著提升性能，表明分类器设计比表示学习更具影响力。
• 数据重采样和损失重加权方法虽能提升尾部性能，但会降低头部性能，表明现有方法存在权衡。
• 所提出的注意力关系路由（ARR）在FewRel-LT上达到75.30的宏平均F1，在TACRED上达到68.8的微平均F1，优于所有基线模型，包括BBN和τ-norm。
• ARR在不降低头部性能的前提下提升了尾部F1，证明软注意力路由能有效增强所有类别上的判别能力。
• 消融实验证实，ARR的动态路由机制是平衡头部与尾部性能的关键，尤其在长尾分布下表现突出。