[论文解读] Self-Paced Learning with Adaptive Deep Visual Embeddings

Vithursan Thangarasa, Graham W. Taylor|arXiv (Cornell University)|Jul 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用 5

一句话总结

该论文提出SPL-ADVisE，一种端到端训练框架，结合自步学习（self-paced learning）与自适应深度视觉嵌入（adaptive deep visual embeddings），以提升深度神经网络的收敛速度与准确率。通过利用Magnet Loss学习一个能捕捉真实样本多样性的度量空间，并结合交叉熵损失衡量样本的难易程度，该方法动态选择包含简单与多样化样本的mini-batch，在粗粒度与细粒度图像分类基准上均取得当前最优性能，在CIFAR-100上相比基线模型最高实现4.75%的准确率提升。

ABSTRACT

Selecting the most appropriate data examples to present a deep neural network (DNN) at different stages of training is an unsolved challenge. Though practitioners typically ignore this problem, a non-trivial data scheduling method may result in a significant improvement in both convergence and generalization performance. In this paper, we introduce Self-Paced Learning with Adaptive Deep Visual Embeddings (SPL-ADVisE), a novel end-to-end training protocol that unites self-paced learning (SPL) and deep metric learning (DML). We leverage the Magnet Loss to train an embedding convolutional neural network (CNN) to learn a salient representation space. The student CNN classifier dynamically selects similar instance-level training examples to form a mini-batch, where the easiness from the cross-entropy loss and the true diverseness of examples from the learned metric space serve as sample importance priors. To demonstrate the effectiveness of SPL-ADVisE, we use deep CNN architectures for the task of supervised image classification on several coarse- and fine-grained visual recognition datasets. Results show that, across all datasets, the proposed method converges faster and reaches a higher final accuracy than other SPL variants, particularly on fine-grained classes.

研究动机与目标

• 为解决深度神经网络训练中固定mini-batch采样导致的次优数据调度问题，该问题可能阻碍收敛与泛化能力。
• 通过基于样本难易程度（低损失）与真实多样性（嵌入空间中的聚类表示）的动态训练样本选择，提升模型性能。
• 将深度度量学习（DML）与自步学习（SPL）结合，构建更有效且自适应的训练课程（curriculum）以优化深度网络训练。
• 证明通过Magnet Loss学习非线性、显著的表示空间可增强样本选择效果，并在细粒度分类任务中取得更优性能。
• 开发一个模块化、端到端的框架，与模型架构无关，可广泛应用于各类深度学习任务。

提出的方法

• 该框架采用一个学生CNN分类器与一个独立的嵌入CNN，通过Magnet Loss训练，学习一个非线性、具备聚类感知能力的表示空间，以反映真实样本的多样性。
• 样本重要性由两个先验决定：(1) 学生网络上的交叉熵损失所反映的难易程度；(2) 嵌入空间中聚类分离程度所体现的真实多样性。
• 训练过程中，学生网络优先从训练集中选择损失较低（简单）且类间距离较大（多样化）的样本组成mini-batch，形成动态课程。
• 嵌入网络与学生网络并行训练，使多样性先验能随模型学习过程在线更新。
• 该方法具有模块化特性，只要损失函数支持在嵌入空间中形成聚类，即可扩展至其他DML损失函数。
• 该框架基于PyTorch实现并开源，确保可复现性并促进后续研究。

实验结果

研究问题

• RQ1 将自步学习与深度度量学习结合，是否能提升深度神经网络训练的收敛速度与最终准确率？
• RQ2 使用Magnet Loss学习的表示空间，是否能比传统聚类方法更准确地估计样本多样性？
• RQ3 在细粒度分类任务中，SPL-ADVisE的表现如何？此类任务常面临类别重叠与小样本集的挑战。
• RQ4 该方法是否能在收敛速度与泛化能力上超越标准随机采样及现有SPL变体（如SPLD）？
• RQ5 将动态样本选择与显著的嵌入空间相结合，能在多大程度上减少过拟合并提升复杂架构的性能？

主要发现

• 在CIFAR-100上，SPL-ADVisE相比SPLD提升3.81%准确率，相比随机采样提升4.75%，在细粒度分类任务中表现显著优越。
• 在FashionMNIST、SVHN与CIFAR-10等粗粒度数据集上，SPL-ADVisE相比基线模型准确率提升0.27至2.22个百分点。
• 在所有评估数据集上，SPL-ADVisE的收敛速度均快于随机采样与SPLD，表明训练效率更高。
• Magnet Loss有效促进了嵌入空间中的聚类，其对真实样本多样性的度量比K-means或谱聚类更准确。
• 即使在使用批量归一化、Dropout与数据增强的复杂架构上，SPL-ADVisE仍保持一致的性能提升，展现出强鲁棒性与泛化能力。
• 实验证明，将动态样本选择与非线性、表示感知的多样性先验结合，可显著提升模型泛化能力，尤其在低数据量场景下优势明显。