[论文解读] Rank4Class: A Ranking Formulation for Multiclass Classification

Nan Wang, Zhen Qin+5 more|arXiv (Cornell University)|Dec 17, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出 Rank4Class，一种用于多分类任务的新型排序范式，将多分类问题重新构型为对每个输入样本的类别排序学习问题。通过利用 NDCG 等排序指标以及先进的学习排序损失函数，该方法在不修改主干模型的前提下，在文本和图像任务中均提升了性能，在多种基准测试中实现了最先进或具有竞争力的结果，且在泛化能力上优于标准的 Top-K 指标。

ABSTRACT

Multiclass classification (MCC) is a fundamental machine learning problem of classifying each instance into one of a predefined set of classes. In the deep learning era, extensive efforts have been spent on developing more powerful neural embedding models to better represent the instance for improving MCC performance. In this paper, we do not aim to propose new neural models for instance representation learning, but to show that it is promising to boost MCC performance with a novel formulation through the lens of ranking. In particular, by viewing MCC as to rank classes for an instance, we first argue that ranking metrics, such as Normalized Discounted Cumulative Gain, can be more informative than the commonly used Top-$K$ metrics. We further demonstrate that the dominant neural MCC recipe can be transformed to a neural ranking framework. Based on such generalization, we show that it is intuitive to leverage advanced techniques from the learning to rank literature to improve the MCC performance out of the box. Extensive empirical results on both text and image classification tasks with diverse datasets and backbone neural models show the value of our proposed framework.

研究动机与目标

• 将多分类任务重新构型为排序问题，以实现更丰富的评估方式并提升模型性能。
• 证明 NDCG 等排序指标相较于 Top-K 准确率，能为多分类模型提供更具信息量的评估方式。
• 表明现有的基于深度学习的多分类分类流水线可等价地视为一种神经排序框架。
• 通过引入排序感知损失函数和增强的样本-类别交互建模，实现多分类任务的性能提升。
• 提供一种通用且与架构无关的框架，在不改变主干神经网络的前提下，提升多种数据集和模态下的性能。

提出的方法

• 将多分类任务重新构型为学习排序问题，其中每个输入样本作为查询，每个类别作为待排序的项目。
• 采用 NDCG 等排序指标，以提供比 Top-K 准确率更具信息量的评估方式。
• 通过将分类层视为排序评分器，将标准多分类分类流水线转化为神经排序框架。
• 利用来自排序学习文献的先进学习排序损失函数（如 LTR 文献中的损失），以优化排序质量，而非使用标准交叉熵损失。
• 通过建模输入样本与类别表征之间更丰富的交互关系，增强模型容量，包括潜在交叉（latent-cross）和拼接（concatenation-based）机制。
• 在不改变编码器架构的前提下，将该框架应用于文本和图像分类任务，并使用多种主干模型（如 ResNet、ViT、BERT）进行实验。

实验结果

研究问题

• RQ1 NDCG 等排序指标是否能在多分类任务中提供比 Top-K 准确率更具信息量的评估？
• RQ2 是否可以通过将多分类任务重新构型为学习排序问题来提升其性能？
• RQ3 排序感知损失函数以及增强的样本-类别交互机制如何影响多分类任务的性能？
• RQ4 所提出的框架是否能在不修改主干神经网络的前提下，提升多种数据集和模态下的性能？
• RQ5 在实践中，不同排序指标（如 Top-1 错误率与 NDCG@5）之间的相关性有多大？

主要发现

• 所提出的 Rank4Class 框架在所有评估的文本和图像分类任务中均优于或匹配基线模型，展现出一致的性能提升。
• NDCG@5 比 Top-5 错误率更具信息量，因为不同模型在两种指标下的性能排名存在差异。
• 在六项任务中的四项（Top-1 错误率）和五项（NDCG@5）中，潜在交叉交互机制取得了最佳性能，表明其在建模样本-类别交互方面具有优越性。
• 该框架在多种数据集和主干模型（包括 ResNet、ViT 和 BERT）上实现了最先进或具有竞争力的结果，且无需修改编码器架构。
• 在所有设置中，使用排序学习文献中的损失函数均带来了相较于标准交叉熵损失的可测量性能提升。
• 通过实证验证，标准多分类分类与神经排序流水线之间存在等价性，为理解现有模型提供了新的理论与实践视角。