[论文解读] Semi-Supervised Learning Enabled by Multiscale Deep Neural Network Inversion

Randall Balestriero, Hervé Glotin+1 more|arXiv (Cornell University)|Feb 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 33被引用 4

一句话总结

该论文提出了一种无需参数、与网络结构无关的半监督深度神经网络学习框架，通过重加权损失函数和多尺度重建机制，提升了模型的鲁棒性与性能。在仅使用500个标签的情况下，SVHN数据集上测试误差达到9.82%，在使用8000个标签的情况下，CIFAR10数据集上测试误差为16.38%，无需超参数调优即超越了先前方法的最先进性能。

ABSTRACT

Deep Neural Networks (DNNs) provide state-of-the-art solutions in several difficult machine perceptual tasks. However, their performance relies on the availability of a large set of labeled training data, which limits the breadth of their applicability. Hence, there is a need for new {\em semi-supervised learning} methods for DNNs that can leverage both (a small amount of) labeled and unlabeled training data. In this paper, we develop a general loss function enabling DNNs of any topology to be trained in a semi-supervised manner without extra hyper-parameters. As opposed to current semi-supervised techniques based on topology-specific or unstable approaches, ours is both robust and general. We demonstrate that our approach reaches state-of-the-art performance on the SVHN ($9.82\%$ test error, with $500$ labels and wide Resnet) and CIFAR10 (16.38% test error, with 8000 labels and sigmoid convolutional neural network) data sets.

研究动机与目标

• 通过利用大量未标注数据，解决在标注数据有限条件下训练深度神经网络的挑战。
• 开发一种鲁棒、可泛化于各类深度神经网络架构、且无需任务特定或拓扑特定超参数的半监督学习框架。
• 通过引入多尺度重建损失，降低对噪声输入和初始化的敏感性，从而提升训练稳定性和性能。
• 实现对非修正线性激活函数（如Sigmoid）的有效半监督学习，扩大在循环网络及其他非ReLU网络中的适用范围。

提出的方法

• 提出一种重加权损失函数，通过消除对外部缩放因子的依赖，消除了对超参数调优的需求。
• 提出一种多尺度重建损失，通过在网络多个层次强制一致性，增强对输入噪声和初始化的鲁棒性。
• 使用可微分的近似反演机制（记为$f^{(-1)}$），从隐藏表征中重建输入，实现在无需显式反向网络的情况下实现自监督。
• 在所有层上统一应用损失函数，通过在多个尺度上计算重建损失，以稳定训练并提升泛化能力。
• 采用统一的训练目标，结合标签数据的交叉熵损失和未标签数据的重建误差，且不引入额外超参数。
• 通过将损失与激活函数假设解耦，支持任意深度神经网络拓扑结构，包括ResNets和基于Sigmoid的卷积神经网络。

实验结果

研究问题

• RQ1 能否设计一种完全无需参数且与网络架构无关的半监督深度学习框架？
• RQ2 多尺度重建损失在半监督学习中如何提升训练稳定性和泛化能力？
• RQ3 所提出的方法是否能在SVHN和CIFAR10等标准基准上实现最先进性能，且无需超参数调优？
• RQ4 该框架在非ReLU激活函数（如Sigmoid）上的泛化能力如何？
• RQ5 在标签稀缺和输入噪声变化的条件下，该方法表现如何？

主要发现

• 所提方法在仅使用500个标签的宽ResNet下，于SVHN数据集上实现9.82%的测试误差，优于先前最先进方法。
• 在CIFAR10数据集上使用8000个标签时，该方法在基于Sigmoid的卷积神经网络上实现16.38%的测试误差，展现出最先进性能。
• 由于多尺度重建损失的存在，该方法对初始化、标签采样和输入噪声具有鲁棒性，有效稳定了训练过程。
• 该框架可泛化至非分段仿射激活函数（如Sigmoid），使方法适用于循环网络及其他需要有界输出的架构。
• 损失函数完全无需参数，无需通过交叉验证调整损失权重或学习率调度等超参数。
• 该方法在多种架构（包括ResNet和基于Sigmoid的CNN）上均保持强大性能，且无需对网络结构进行任何修改。