[论文解读] Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations

Shuhao Cui, Shuhui Wang+4 more|arXiv (Cornell University)|Mar 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用 26

一句话总结

本文提出批量核范数最大化（BNM），一种新颖的训练目标，通过最大化批次输出矩阵的核范数，在标签稀缺场景下提升预测的判别能力与多样性。BNM在半监督学习、域适应和开放域识别任务中均表现优异，在无监督开放域识别任务中达到最先进性能，优于熵最小化和平衡约束方法，通过提升少数类别预测的多样性实现性能提升。

ABSTRACT

The learning of the deep networks largely relies on the data with human-annotated labels. In some label insufficient situations, the performance degrades on the decision boundary with high data density. A common solution is to directly minimize the Shannon Entropy, but the side effect caused by entropy minimization, i.e., reduction of the prediction diversity, is mostly ignored. To address this issue, we reinvestigate the structure of classification output matrix of a randomly selected data batch. We find by theoretical analysis that the prediction discriminability and diversity could be separately measured by the Frobenius-norm and rank of the batch output matrix. Besides, the nuclear-norm is an upperbound of the Frobenius-norm, and a convex approximation of the matrix rank. Accordingly, to improve both discriminability and diversity, we propose Batch Nuclear-norm Maximization (BNM) on the output matrix. BNM could boost the learning under typical label insufficient learning scenarios, such as semi-supervised learning, domain adaptation and open domain recognition. On these tasks, extensive experimental results show that BNM outperforms competitors and works well with existing well-known methods. The code is available at https://github.com/cuishuhao/BNM.

研究动机与目标

• 为解决在标签不足条件下模型在决策边界处性能下降的问题，特别是由于高密度数据区域中预测模糊所致。
• 克服熵最小化带来的副作用，即通过偏好多数类别而降低预测多样性，从而损害少数类别预测。
• 开发一种统一的训练目标，无需事先知晓少数类别信息，即可同时提升模型预测的判别能力与多样性。
• 在多样化的标签稀缺学习任务中验证所提方法的有效性，包括半监督学习、域适应和开放域识别。

提出的方法

• 该方法基于理论分析，表明批量输出矩阵的Frobenius-范数衡量判别能力，矩阵秩衡量多样性。
• 采用核范数作为Frobenius-范数（判别能力）和矩阵秩（多样性）的凸近似，实现联合优化。
• 将批量核范数最大化（BNM）表述为一个目标函数，通过最大化一个预测小批量的分类输出矩阵的核范数来实现。
• BNM损失可与标准交叉熵损失结合，并可无缝集成到现有的半监督学习、域适应和开放域识别训练流程中。
• 该方法通过超参数λ进行参数化，以平衡BNM损失与分类损失，实验表明其对λ的变化具有鲁棒性。

实验结果

研究问题

• RQ1 在标签稀缺学习场景下，能否联合优化模型预测的判别能力与多样性？
• RQ2 与熵最小化相比，最大化批量输出矩阵的核范数是否能更有效地同时提升判别能力与多样性？
• RQ3 在半监督学习和开放域识别中，BNM与熵最小化、平衡约束等现有方法相比表现如何？
• RQ4 BNM是否能在不依赖少数类别先验知识的前提下，维持或提升对少数类别和未知类别的性能？

主要发现

• 在I2AwA开放域识别基准中，BNM在未知类别上的性能相比zGCN基线提升了19.0%。
• 在I2AwA数据集上，BNM实现了13.3%的整体准确率提升，以及相对于zGCN的15.2%平均性能提升。
• 在I2AwA数据集上，BNM相比最先进方法UODTN提升了4.8%，证明其有效性，且无需复杂架构组件。
• BNM在训练过程中未知类别预测比例持续上升，表明多样性得以维持，而熵最小化方法则显著降低该比例。
• BNM在整个训练过程中对已知类别和未知类别均保持更高准确率，在所有指标上均优于EntMin和Balance约束方法。
• 参数敏感性分析表明，BNM在不同λ值下均表现稳定，实验采用λ = 2以保证一致性比较。