[论文解读] Rethinking Data Augmentation: Self-Supervision and Self-Distillation

Hankook Lee, Sung Ju Hwang+1 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 23被引用 41

一句话总结

本文提出了一种自监督与自蒸馏框架，通过联合建模增强样本的原始标签与自监督标签，改进监督深度学习中的数据增强，从而实现更鲁棒的泛化，尤其在少样本和类别不平衡设置下表现更优。该方法通过聚合推理与知识蒸馏提升性能，优于采用标签不变性约束的标准数据增强方法。

ABSTRACT

Data augmentation techniques, e.g., flipping or cropping, which systematically enlarge the training dataset by explicitly generating more training samples, are effective in improving the generalization performance of deep neural networks. In the supervised setting, a common practice for data augmentation is to assign the same label to all augmented samples of the same source. However, if the augmentation results in large distributional discrepancy among them (e.g., rotations), forcing their label invariance may be too difficult to solve and often hurts the performance. To tackle this challenge, we suggest a simple yet effective idea of learning the joint distribution of the original and self-supervised labels of augmented samples. The joint learning framework is easier to train, and enables an aggregated inference combining the predictions from different augmented samples for improving the performance. Further, to speed up the aggregation process, we also propose a knowledge transfer technique, self-distillation, which transfers the knowledge of augmentation into the model itself. We demonstrate the effectiveness of our data augmentation framework on various fully-supervised settings including the few-shot and imbalanced classification scenarios.

研究动机与目标

• 解决标准数据增强方法在增强样本间强制标签不变性的问题，尽管存在较大的分布偏移。
• 通过学习从增强数据中得到的原始标签与自监督标签的联合分布，提升模型泛化能力。
• 通过自蒸馏加速推理聚合，将增强视图中的知识迁移至主模型。
• 在少样本和类别不平衡分类等具有挑战性的监督学习设置中展示方法的有效性。

提出的方法

• 提出一种联合学习框架，同时建模增强样本的原始标签与自监督预测。
• 利用自监督信号（例如旋转预测）为增强视图生成辅助监督信号。
• 引入知识蒸馏机制，将增强视图中的知识迁移至主模型，以加速推理。
• 通过联合模型对多个增强样本的预测进行聚合，以提升鲁棒性。
• 采用联合损失函数，结合原始监督与自监督监督，端到端训练模型。
• 在推理阶段通过一次前向传播完成，将增强视图中的知识蒸馏至主网络。

实验结果

研究问题

• RQ1 在数据增强引起的分布偏移下，联合学习原始标签与自监督标签是否能提升模型泛化能力？
• RQ2 自蒸馏如何在保持增强数据性能增益的同时提升推理效率？
• RQ3 在少样本和类别不平衡分类任务中，所提框架是否优于采用标签不变性的标准数据增强方法？
• RQ4 自监督在多大程度上缓解了由大规模增强引起的分布偏移带来的负面影响？

主要发现

• 与采用标签不变性的标准数据增强相比，联合学习框架在分布偏移下表现出更优的性能。
• 自蒸馏通过将增强视图中的知识迁移至主模型，实现了快速推理，无需多次前向传播。
• 在少样本学习场景中，该方法表现出一致的性能提升，数据稀缺性进一步凸显了鲁棒增强的优势。
• 在类别不平衡分类任务中，该框架通过利用自监督信号，减轻了少数类别的性能退化。
• 该方法在多个数据集和主干网络架构上均表现有效，展现出广泛的适用性。