[论文解读] Semi-supervised deep learning by metric embedding

Elad Hoffer, Nir Ailon|arXiv (Cornell University)|Feb 11, 2017

Face and Expression Recognition被引用 5

一句话总结

本文提出了一种半监督深度学习方法，通过度量嵌入来提升在少量标注数据下的泛化能力。通过在标注样本和无标注数据上施加距离约束来学习判别性欧几里得嵌入，模型在最近邻分类中表现优异，在低少样本基准测试中超越了标准监督和自监督基线方法。

ABSTRACT

Deep networks are successfully used as classification models yielding state-of-the-art results when trained on a large number of labeled samples. These models, however, are usually much less suited for semi-supervised problems because of their tendency to overfit easily when trained on small amounts of data. In this work we will explore a new training objective that is targeting a semi-supervised regime with only a small subset of labeled data. This criterion is based on a deep metric embedding over distance relations within the set of labeled samples, together with constraints over the embeddings of the unlabeled set. The final learned representations are discriminative in euclidean space, and hence can be used with subsequent nearest-neighbor classification using the labeled samples.

研究动机与目标

• 解决在半监督设置下，使用小规模标注数据集训练深度网络时出现的过拟合问题。
• 开发一种利用度量学习同时结合标注和无标注数据的训练目标。
• 在欧几里得空间中学习具有判别性的表示，以支持有效的最近邻分类。
• 在无需大量超参数调优的情况下，提升低资源半监督学习基准上的性能。

提出的方法

• 该方法采用深度度量嵌入，在嵌入空间中强制执行标注样本之间的相对距离关系。
• 对无标注样本的嵌入引入约束，以保持局部结构并确保与标注数据的一致性。
• 损失函数结合了标注对之间的度量学习与无标注样本的正则化，以促进紧凑且可分的聚类。
• 最终表示通过随机梯度下降端到端优化，可直接用于 k-最近邻分类。
• 该方法避免依赖强数据增强或对比预训练，转而关注内在的距离关系。

实验结果

研究问题

• RQ1 在小样本半监督学习中，对标注样本进行度量学习是否能提升泛化能力？
• RQ2 对无标注数据施加距离约束如何影响所学嵌入的质量？
• RQ3 在标注数据有限的情况下，所提出方法是否优于标准监督和自监督基线方法？
• RQ4 所学嵌入在半监督设置下在多大程度上支持有效的 k-最近邻分类？

主要发现

• 该方法仅使用少量标注数据，在多个小样本半监督学习基准上实现了最先进性能。
• 模型对标签稀缺表现出鲁棒性，在 CIFAR-10 和 STL-10 上优于标准监督训练和自监督基线方法。
• 对标注数据施加度量约束显著提升了欧几里得空间中嵌入的判别能力。
• 使用所学嵌入进行最近邻分类实现了高准确率，验证了表示学习的有效性。