[论文解读] Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training

Xuxi Chen, Wuyang Chen+5 more|arXiv (Cornell University)|Jun 22, 2020

Machine Learning and Data Classification被引用 29

一句话总结

Self-PU 提出了一种新颖的自监督框架，用于正样本-未标记样本（PU）学习，该框架整合了自步训练、自校准损失重加权以及教师-学生网络之间的知识蒸馏。该方法在 MNIST 和 CIFAR-10 基准测试中取得了最先进性能，并在真实世界的阿尔茨海默病神经影像计划（ADNI）数据集上取得了新的最先进水平，显著优于现有的 PU 方法。

ABSTRACT

Many real-world applications have to tackle the Positive-Unlabeled (PU) learning problem, i.e., learning binary classifiers from a large amount of unlabeled data and a few labeled positive examples. While current state-of-the-art methods employ importance reweighting to design various risk estimators, they ignored the learning capability of the model itself, which could have provided reliable supervision. This motivates us to propose a novel Self-PU learning framework, which seamlessly integrates PU learning and self-training. Self-PU highlights three "self"-oriented building blocks: a self-paced training algorithm that adaptively discovers and augments confident positive/negative examples as the training proceeds; a self-calibrated instance-aware loss; and a self-distillation scheme that introduces teacher-students learning as an effective regularization for PU learning. We demonstrate the state-of-the-art performance of Self-PU on common PU learning benchmarks (MNIST and CIFAR-10), which compare favorably against the latest competitors. Moreover, we study a real-world application of PU learning, i.e., classifying brain images of Alzheimer's Disease. Self-PU obtains significantly improved results on the renowned Alzheimer's Disease Neuroimaging Initiative (ADNI) database over existing methods. The code is publicly available at: https://github.com/TAMU-VITA/Self-PU.

研究动机与目标

• 为解决现有 PU 学习方法仅依赖重要性重加权而忽略模型自身自监督的问题。
• 通过利用模型自身的学习能力实现自监督，提升 PU 学习中的训练稳定性和性能。
• 利用阿尔茨海默病神经影像计划（ADNI）的神经影像数据，引入一个真实且具有挑战性的新基准用于 PU 学习。
• 证明自监督组件——自步选择、自校准和自蒸馏——可在低数据场景下显著提升 PU 学习性能。

提出的方法

• Self-PU 采用自步训练策略，迭代识别并添加置信的未标记样本到正负样本的可信集合中。
• 提出一种混合损失，结合非负 PU（nnPU）风险估计器与自校准交叉熵损失，后者通过元学习动态重加权，以提升对不置信样本的监督效果。
• 通过多组教师-学生网络实现自蒸馏方案，强制预测一致性作为正则化手段以稳定训练过程。
• 框架采用基于元学习的校准机制，自适应调整对不置信样本的损失权重，从而提升泛化能力。
• 该方法集成了三个自导向组件：自步样本选择、自校准损失和自蒸馏知识迁移。
• 超参数 α、β 和 γ 经调优以平衡置信度阈值设定、蒸馏平滑度和损失加权，最优值通过实验确定。

实验结果

研究问题

• RQ1 模型自身预测产生的自监督是否能超越传统重要性重加权，在 PU 学习中带来性能提升？
• RQ2 针对置信样本选择的自步训练如何影响 PU 学习的稳定性和准确性？
• RQ3 自校准损失重加权在提升对模糊或不置信样本的监督效果方面有多大的增强作用？
• RQ4 教师-学生模型之间的知识蒸馏能否作为弱监督 PU 学习中的有效正则化手段？
• RQ5 所提出的 Self-PU 框架是否能有效泛化至真实世界、复杂的医学影像任务，如阿尔茨海默病分类？

主要发现

• 在 MNIST 上，Self-PU 的性能优于 uPU 和 nnPU 超过 0.5%，达到新的最先进准确率。
• 在 CIFAR-10 上，Self-PU 的性能优于 nnPU 超过 1%，且仅使用 1,000 个正样本时，其性能即与使用 3,000 个正样本的 DAN 方法相当。
• 当使用 3,000 个正样本时，Self-PU 的性能超过 DAN 1%，展现出更优的数据效率。
• 在 ADNI 数据集上，Self-PU 的性能显著优于 uPU 和 nnPU，在阿尔茨海默病神经影像 PU 学习中创下新的最先进水平。
• Self-PU 的训练过程显著优于 uPU 和 nnPU，避免了因过拟合导致的后期准确率下降。
• 消融实验表明，自步选择、自校准和自蒸馏三个组件协同作用，共同带来性能增益。