[论文解读] Unsupervised Deep Metric Learning via Auxiliary Rotation Loss

Xuefei Cao, Bor-Chun Chen+1 more|arXiv (Cornell University)|Nov 16, 2019

Face recognition and analysis参考文献 39被引用 11

一句话总结

该论文提出UDML-SS，一种新型无监督深度度量学习框架，联合优化度量学习、基于聚类的伪标签生成以及自监督旋转预测任务。通过迭代优化聚类分配并利用旋转预测作为正则化项，该方法在CUB-200、Cars196和Stanford Online Products数据集上实现了最先进性能，Recall@1指标相比之前方法最高提升14.6%。

ABSTRACT

Deep metric learning is an important area due to its applicability to many domains such as image retrieval and person re-identification. The main drawback of such models is the necessity for labeled data. In this work, we propose to generate pseudo-labels for deep metric learning directly from clustering assignment and we introduce unsupervised deep metric learning (UDML) regularized by a self-supervision (SS) task. In particular, we propose to regularize the training process by predicting image rotations. Our method (UDML-SS) jointly learns discriminative embeddings, unsupervised clustering assignments of the embeddings, as well as a self-supervised pretext task. UDML-SS iteratively cluster embeddings using traditional clustering algorithm (e.g., k-means), and sampling training pairs based on the cluster assignment for metric learning, while optimizing self-supervised pretext task in a multi-task fashion. The role of self-supervision is to stabilize the training process and encourages the model to learn meaningful feature representations that are not distorted due to unreliable clustering assignments. The proposed method performs well on standard benchmarks for metric learning, where it outperforms current state-of-the-art approaches by a large margin and it also shows competitive performance with various metric learning loss functions.

研究动机与目标

• 解决无监督深度度量学习对大规模标注数据的依赖问题。
• 降低由伪标签中不可靠聚类分配引起的训练不稳定性。
• 在不依赖人工标注的情况下提升特征表示质量。
• 将自监督学习作为正则化手段，稳定训练过程并增强特征学习能力。
• 在多个标准度量学习基准上展示最先进性能。

提出的方法

• 在深度特征上使用k-means聚类生成伪标签，用于度量学习中的正负样本对挖掘。
• 使用结合度量学习损失与旋转预测损失的多任务损失函数训练深度神经网络。
• 将旋转预测作为自监督的预训练任务：预测输入图像的0°、90°、180°、270°旋转。
• 在每个训练周期后，利用更新后的特征重新计算聚类分配。
• 从预训练的ImageNet主干网络初始化伪标签，并在训练过程中端到端更新。
• 在框架内支持任意标准度量学习损失函数（例如对比损失、三元组损失）

实验结果

研究问题

• RQ1 基于聚类的伪标签生成能否与自监督学习有效结合，以提升无监督度量学习性能？
• RQ2 引入旋转预测任务是否能稳定训练过程并降低对噪声聚类分配的敏感性？
• RQ3 所提方法在标准基准上与最先进无监督度量学习方法相比表现如何？
• RQ4 当从随机初始化的权重开始训练时，该方法是否仍能取得优异性能，即使不使用ImageNet预训练？
• RQ5 嵌入维度和聚类数量等超参数如何影响模型性能？

主要发现

• UDML-SS在CUB-200-2011数据集上达到新的最先进水平，相比之前最先进方法[51]，Recall@1提升8.5%。
• 在Cars196数据集上，该方法相比最强基线模型，Recall@1提升3.8%。
• 在Stanford Online Products数据集上，UDML-SS相比[51]实现14.6%的Recall@1提升，展现出强大的泛化能力。
• 在随机初始化的ResNet18设置下，UDML-SS在Product数据集上达到59.2%的Recall@1，优于所有之前的无监督方法。
• 该方法在不同主干网络架构上均表现良好，Inception-V2的性能接近有监督的多相似性学习方法。
• 最优聚类数约为100–250；当k超过500时性能下降，表明聚类对过拟合较为敏感。