[论文解读] Mutual Information-guided Knowledge Transfer for Novel Class Discovery

Chuyu Zhang, Chuanyang Hu+4 more|arXiv (Cornell University)|Jun 24, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种互信息引导的知识迁移方法，用于新类别发现，通过在受限标签空间中最大化互信息，显式建模已见类别与未见类别之间的语义关系。通过利用互信息对齐语义知识，该方法在多个基准数据集上实现了最先进性能，显著优于先前的方法。

ABSTRACT

We tackle the novel class discovery problem, aiming to discover novel classes in unlabeled data based on labeled data from seen classes. The main challenge is to transfer knowledge contained in the seen classes to unseen ones. Previous methods mostly transfer knowledge through sharing representation space or joint label space. However, they tend to neglect the class relation between seen and unseen categories, and thus the learned representations are less effective for clustering unseen classes. In this paper, we propose a principle and general method to transfer semantic knowledge between seen and unseen classes. Our insight is to utilize mutual information to measure the relation between seen classes and unseen classes in a restricted label space and maximizing mutual information promotes transferring semantic knowledge. To validate the effectiveness and generalization of our method, we conduct extensive experiments both on novel class discovery and general novel class discovery settings. Our results show that the proposed method outperforms previous SOTA by a significant margin on several benchmarks.

研究动机与目标

• 为解决现有方法在忽略类别关系的情况下，难以将语义知识从已见类别有效迁移至未见类别的问题。
• 通过显式建模已见类别与未见类别之间的语义关系，提升新类别上的聚类性能。
• 开发一种通用且原理清晰的知识迁移框架，使其在标准和通用新类别发现设置下均有效。

提出的方法

• 在受限标签空间内最大化已见类别与未见类别表示之间的互信息，以捕捉语义关系。
• 将知识迁移形式化为一个优化问题，以促进已见类别与未见类别之间语义知识的对齐。
• 采用对比学习目标以增强特征判别性，同时保持已见类别与未见类别嵌入之间的互信息。
• 该框架设计为通用结构，适用于标准和通用新类别发现设置。
• 该方法在表示空间中运行，其中互信息在未见类别的预测标签与已见类别的真实标签之间计算。
• 使用可微分的互信息近似方法，以支持基于梯度的端到端训练。

实验结果

研究问题

• RQ1 在未见类别缺乏标注数据的情况下，如何有效实现从已见类别到未见类别的语义知识迁移？
• RQ2 对已见类别与未见类别之间的类别关系进行建模，在多大程度上能提升新类别上的聚类性能？
• RQ3 互信息能否作为少样本和零样本类别发现中知识迁移的可靠且有效的归纳偏置？
• RQ4 所提出方法在不同基准数据集和设置（包括通用新类别发现）下的泛化能力如何？
• RQ5 与共享表示空间或联合标签空间等其他知识迁移机制相比，互信息最大化在其中的相对贡献是什么？

主要发现

• 所提方法在多个新类别发现基准数据集上实现了最先进性能。
• 显著优于先前的最先进方法，在未见类别上的聚类准确率有明显提升。
• 将互信息作为知识迁移信号，可使已见类别与未见类别之间的表示更具语义对齐性。
• 该方法在通用新类别发现设置下表现出良好的泛化能力，其中新类别的数量在事前未被固定。
• 实证结果表明，互信息最大化能有效捕捉类别间的语义关系，从而提升下游聚类性能。
• 消融实验验证了基于互信息的知识迁移优于标准的表示共享或联合标签空间方法。