[论文解读] Parametric Classification for Generalized Category Discovery: A Baseline Study

Xin Wen, Bingchen Zhao+1 more|arXiv (Cornell University)|Nov 21, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文提出了一种简单而有效的广义类别发现（GCD）参数化分类方法，通过解决不可靠伪标签和预测偏差问题，克服了先前参数化分类器的失败。通过引入熵正则化和自蒸馏，该方法在多个GCD基准上实现了最先进性能，同时对未知新类别数量保持鲁棒性。

ABSTRACT

Generalized Category Discovery (GCD) aims to discover novel categories in unlabelled datasets using knowledge learned from labelled samples. Previous studies argued that parametric classifiers are prone to overfitting to seen categories, and endorsed using a non-parametric classifier formed with semi-supervised k-means. However, in this study, we investigate the failure of parametric classifiers, verify the effectiveness of previous design choices when high-quality supervision is available, and identify unreliable pseudo-labels as a key problem. We demonstrate that two prediction biases exist: the classifier tends to predict seen classes more often, and produces an imbalanced distribution across seen and novel categories. Based on these findings, we propose a simple yet effective parametric classification method that benefits from entropy regularisation, achieves state-of-the-art performance on multiple GCD benchmarks and shows strong robustness to unknown class numbers. We hope the investigation and proposed simple framework can serve as a strong baseline to facilitate future studies in this field. Our code is available at: https://github.com/CVMI-Lab/SimGCD.

研究动机与目标

• 调查为何先前的参数化分类器在广义类别发现（GCD）中表现不佳，特别是在识别新类别方面。
• 识别不可靠的伪标签和预测偏差（如对已见类别过度预测以及标签分布不平衡）作为性能不佳的根本原因。
• 开发一种简单而有效的参数化分类基线，优于非参数化方法，同时保持较低的推理成本。
• 证明熵正则化可改善预测平衡性和鲁棒性，尤其在未知类别数量的情况下。
• 为未来GCD研究建立一个强大且可复现的基线，挑战近期向非参数化方法发展的趋势。

提出的方法

• 采用与主干网络联合训练的参数化分类器，使用标注数据上的交叉熵损失进行训练。
• 对未标注数据应用自蒸馏，生成软伪标签，从而在无需显式聚类的情况下提升泛化能力。
• 引入熵正则化项，以鼓励所有类别上的预测分布均匀，抵消对已见类别的偏差。
• 采用与先前工作（GCD [43]）相同的表示学习目标，专注于改进分类而非表示学习。
• 采用联合优化策略，交替进行标注数据上的监督学习和未标注数据上的自蒸馏。
• 将已见类别和新类别统一视为分类头的一部分，实现端到端学习并保持预测目标的平衡。

实验结果

研究问题

• RQ1 为何尽管有强监督和表示学习，参数化分类器在GCD中仍表现不佳？
• RQ2 模型预测中的哪些特定偏差导致其在GCD中新类别上泛化能力差？
• RQ3 熵正则化是否能有效缓解预测不平衡并提升对未见类别的性能？
• RQ4 与k-means等非参数化分类器相比，所提方法在准确率、推理成本和鲁棒性方面表现如何？
• RQ5 当新类别数量未知时，熵正则化在多大程度上可增强鲁棒性？

主要发现

• 先前参数化分类器失败的主要原因在于不可靠的伪标签和对已见类别的强烈预测偏差。
• 所提方法在多个GCD基准（包括CIFAR-100、CUB和Tiny-ImageNet）上实现了最先进性能，优于先前的参数化和非参数化方法。
• 熵正则化成功生成了更均衡的伪标签分布，如图9和图10的可视化结果所示。
• 该模型在未知新类别数量的情况下表现出强鲁棒性，这是实际部署中的关键优势。
• 训练过程中观察到已见类别与新类别之间存在性能权衡，凸显了平衡优化的必要性。
• 与非参数化k-means聚类相比，该方法保持了较低的推理成本，后者在大规模数据集上面临二次方复杂度问题。