[论文解读] When Labelled Data Hurts: Deep Semi-Supervised Classification with the Graph 1-Laplacian

Angelica I. Avilés-Rivero, Nicolas Papadakis+4 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种新颖的深度半监督分类框架，利用归一化图 1-拉普拉斯矩阵的非光滑 ℓ₁ 范数，以在标注数据有限的情况下提升性能。通过强制平滑性并利用类别先验来挖掘数据的内在关系，该方法在 CIFAR-10、CIFAR-100 和 ChestX-Ray14 上取得了最先进结果，优于经典方法，并与深度学习基线模型相当。

ABSTRACT

We consider the task of classifying when a significantly reduced amount of labelled data is available. This problem is of a great interest, in several real-world problems, as obtaining large amounts of labelled data is expensive and time consuming. We present a novel semi-supervised framework for multi-class classification that is based on the non-smooth $\ell_1$ norm of the normalised graph 1-Laplacian. Our transductive framework is framed under a novel functional with carefully selected class priors - that enforces a sufficiently smooth solution and strengthens the intrinsic relation between the labelled and unlabelled data. We provide theoretical results of our new optimisation model and show its connections with deep learning for handling large-scale datasets. We demonstrate through extensive experimental results on large datasets - CIFAR-10, CIFAR-100 and ChestX-Ray14 - that our method outperforms classic methods and readily competes with recent deep-learning approaches.

研究动机与目标

• 解决现实世界分类任务中因数据标注成本高且耗时长而导致的标注数据有限的挑战。
• 开发一种归纳式半监督框架，有效利用标注数据与未标注数据以提升分类性能。
• 提出一种新型函数，引入类别先验，以增强标注数据与未标注数据之间的内在关联。
• 通过归一化图 1-拉普拉斯矩阵的非光滑 ℓ₁ 范数强制解的平滑性，以增强泛化能力。
• 在大规模数据集上展示强大性能，尽管标注数据极少，但其表现可与深度学习模型相媲美。

提出的方法

• 基于归一化图 1-拉普拉斯矩阵，利用 ℓ₁ 范数构建新的优化模型，以在标签传播过程中促进稀疏性与鲁棒性。
• 将类别先验融入目标函数，以引导模型更准确地捕捉数据的内在一致结构。
• 通过最小化图 1-拉普拉斯矩阵的 ℓ₁ 范数来强制解的平滑性，相比传统的 ℓ₂ 方法，能更好地保持局部数据几何结构。
• 设计一种归纳式框架，基于标注与未标注数据的联合结构，预测未标注样本的标签。
• 建立所提模型与深度学习架构之间的理论联系，以支持在大规模数据集上的可扩展性。
• 采用一种新颖的算法方法优化目标函数，确保在高维设置下的收敛性与稳定性。

实验结果

研究问题

• RQ1 在标注数据稀缺的情况下，基于非光滑 ℓ₁ 的图正则化是否能提升半监督分类性能？
• RQ2 在图 1-拉普拉斯框架中引入类别先验，如何增强标注数据与未标注数据之间的关系？
• RQ3 所提方法在基准数据集上相对于经典半监督学习方法的性能提升程度如何？
• RQ4 尽管使用极少标注数据，该框架是否能实现与深度学习模型相媲美的性能？
• RQ5 该模型与深度学习架构在处理大规模数据时，其理论与实证关联性如何？

主要发现

• 在 CIFAR-10 和 CIFAR-100 上，所提方法在显著减少标注数据量的情况下实现了最先进性能，优于经典半监督学习方法。
• 在 ChestX-Ray14 数据集上，该方法展现出强大的泛化能力与鲁棒性，其性能与深度学习基线模型相当。
• 在图 1-拉普拉斯矩阵中使用 ℓ₁ 范数，相比 ℓ₂ 方法，能实现更稀疏且更鲁棒的标签传播。
• 类别先验的整合强化了数据的内在结构，提升了未标注样本预测结果的一致性。
• 理论分析证实该模型与深度学习框架兼容，支持在大规模数据集上的可扩展性。
• 大量实验表明，即使仅使用训练数据的一小部分作为标注数据，该方法仍能保持高准确率。