[论文解读] Multitask Learning for Class-Imbalanced Discourse Classification

Alexander Spangher, Jonathan May+2 more|arXiv (Cornell University)|Jan 2, 2021

Topic Modeling参考文献 61被引用 4

一句话总结

本文提出了一种多任务学习框架，通过利用来自六个不同话语数据集的互补信号（包括基于Van Dijk理论框架的67个样本新数据集），在类别不平衡的NewsDiscourse数据集上提升了话语分类性能。该方法使Micro F1得分提高了7%（从62.8%提升至67.7%），尤其在低频类别上表现显著，得益于跨任务标签的相关性；而数据增强及其他标准技术则未能提升性能。

ABSTRACT

Small class-imbalanced datasets, common in many high-level semantic tasks like discourse analysis, present a particular challenge to current deep-learning architectures. In this work, we perform an extensive analysis on sentence-level classification approaches for the News Discourse dataset, one of the largest high-level semantic discourse datasets recently published. We show that a multitask approach can improve 7% Micro F1-score upon current state-of-the-art benchmarks, due in part to label corrections across tasks, which improve performance for underrepresented classes. We also offer a comparative review of additional techniques proposed to address resource-poor problems in NLP, and show that none of these approaches can improve classification accuracy in such a setting.

研究动机与目标

• 为解决句子级话语分类中的类别不平衡问题，特别是在如NewsDiscourse这类小型、高层次语义数据集上的挑战。
• 探究将具有不同理论框架的多个话语数据集结合，是否可通过多任务学习提升主任务的性能。
• 评估处理类别不平衡的既定技术（如层次化标签、修改损失函数、CRF建模）在低资源、类别不平衡设置下的有效性。
• 证明在该场景下，辅助任务的标注信号比单纯的数据扩展更有效。
• 提供一个统一框架，实现对不同理论框架下现有话语标注的复用，而无需丢弃先前的标注工作。

提出的方法

• 在七个话语数据集上联合训练一个基于多任务神经架构的模型，包括NewsDiscourse（VD1）、一个新构建的67个样本数据集（VD3）以及其他五个具有不同理论框架和标签类型（多类/多标签）的数据集。
• 模型在所有任务间共享编码器（如基于BERT的模型），并使用任务特定的分类头进行预测，从而实现参数共享与跨任务知识迁移。
• 任务特定损失采用自适应加权，框架支持在不同话语理论框架下进行多类与多标签分类任务。
• 分析任务间的预测相关性，以理解辅助任务如何支持主任务中低频类别的分类。
• 框架同时整合了已有数据集的完整标注及经筛选后的子集（如PDTB、RST、KBP），以最大化信号复用。
• 消融实验将多任务模型与基线模型进行对比，基线模型采用数据增强、层次化标签、CRF解码及替代损失函数等方法。

实验结果

研究问题

• RQ1 当数据集较小且类别不平衡时，多任务学习是否能提升主话语分类任务的性能？
• RQ2 来自具有不同理论框架的多个话语数据集的互补信号是否能提升分类准确率，特别是对低频类别的提升？
• RQ3 为何在该设置下，简单的数据增强技术无法提升性能，尽管训练规模已增加？
• RQ4 既定的类别不平衡处理技术（如层次化标签、CRF建模或焦点损失）是否能在此特定数据集上提升性能？
• RQ5 任务间预测相关性在多大程度上解释了多任务框架中观察到的性能提升？

主要发现

• 多任务学习方法在NewsDiscourse数据集上使Micro F1得分绝对提升了7个百分点，从62.8%提高到67.7%。
• 性能提升最大的是低频话语类别，表明多任务学习能有效缓解类别不平衡问题。
• 仅使用数据增强无法提升性能，甚至导致整体准确率下降，因其过度拟合于高频类别。
• 所有标准技术（层次化标签、基于CRF的序列建模、修改损失函数）均未在基线基础上进一步提升性能。
• 主任务与辅助任务之间观察到较高的预测相关性，表明来自不同理论框架的标签信号为低频类别提供了有意义的归纳偏置。
• 该框架成功实现了在不同理论框架间复用已有话语标注，实现了知识迁移，同时避免了丢弃先前的标注工作。