[论文解读] Repetitive Reprediction Deep Decipher for Semi-Supervised Learning

Guohua Wang, Jianxin Wu|arXiv (Cornell University)|Aug 9, 2019

Machine Learning and Data Classification参考文献 21被引用 5

一句话总结

本文提出R2-D2，一种新颖的端到端半监督学习框架，通过指数链接函数从理论上证明了使用深度神经网络预测作为伪标签的合理性。通过引入重复重预测（R2）以对抗伪标签的平坦化，R2-D2实现了最先进性能，在ImageNet上的Top-1错误率相比之前方法降低了5%。

ABSTRACT

Most recent semi-supervised deep learning (deep SSL) methods used a similar paradigm: use network predictions to update pseudo-labels and use pseudo-labels to update network parameters iteratively. However, they lack theoretical support and cannot explain why predictions are good candidates for pseudo-labels. In this paper, we propose a principled end-to-end framework named deep decipher (D2) for SSL. Within the D2 framework, we prove that pseudo-labels are related to network predictions by an exponential link function, which gives a theoretical support for using predictions as pseudo-labels. Furthermore, we demonstrate that updating pseudo-labels by network predictions will make them uncertain. To mitigate this problem, we propose a training strategy called repetitive reprediction (R2). Finally, the proposed R2-D2 method is tested on the large-scale ImageNet dataset and outperforms state-of-the-art methods by 5 percentage points.

研究动机与目标

• 为解决在半监督学习中使用深度神经网络预测作为伪标签缺乏理论依据的问题。
• 开发一种端到端框架，通过反向传播联合优化网络参数和伪标签。
• 识别并解决在训练过程中伪标签变得平坦（高熵）的问题。
• 提升在半监督学习基准上的性能，特别是在ImageNet等大规模数据集上。

提出的方法

• 提出Deep Decipher (D2)，一种将伪标签视为可通过反向传播更新的可学习变量的端到端框架。
• 理论上证明了伪标签与网络预测之间存在指数关系，为将预测用作伪标签提供了理论基础。
• 引入重复重预测（R2）策略，以缓解优化过程中伪标签的平坦化问题。
• 使用标签概率分布作为伪标签，实现网络权重与伪标签的联合优化。
• 采用对网络参数和伪标签的最大似然估计公式，定义D2的优化目标。
• 通过在训练过程中反复重新预测未标记样本，应用R2策略以稳定并锐化伪标签。

实验结果

研究问题

• RQ1 为何深度神经网络预测是半监督学习中伪标签的合理选择？
• RQ2 伪标签能否通过反向传播实现端到端学习，而非手动设定或通过启发式平均获得？
• RQ3 在训练过程中伪标签质量退化的原因是什么，以及如何纠正？
• RQ4 一个具有理论基础且具备自适应伪标签的框架能否超越现有最先进半监督学习方法？

主要发现

• 在使用1%标注数据的ImageNet上，R2-D2的Top-1错误率比之前最先进方法低5个百分点。
• 在CIFAR-10上使用4,000张标注图像，R2-D2的测试错误率为5.72%，优于Mean Teacher和HybridNet。
• 在CIFAR-100上使用10,000张标注图像，R2-D2的错误率为32.87%，优于Temporal Ensembling、Mean Teacher和DCT。
• 在SVHN上使用1,000张标注图像，R2-D2的错误率为3.64%，优于Temporal Ensembling和Mean Teacher。
• 理论分析证实，伪标签在训练过程中会变得平坦（高熵），而R2能有效缓解此问题。
• D2框架通过指数关系为将预测用作伪标签提供了理论解释，从而为先前的经验实践提供了合理性依据。