[论文解读] Unifying Specialist Image Embedding into Universal Image Embedding

Yang Feng, Futang Peng+8 more|arXiv (Cornell University)|Mar 8, 2020

Advanced Image and Video Retrieval Techniques参考文献 31被引用 5

一句话总结

本文提出了一种新颖的知识蒸馏方法，旨在将多个专业图像嵌入模型统一为一个通用图像嵌入模型，其在各自领域内的性能可与各专业模型相媲美。通过将图像间距离转换为概率分布，并最小化专业模型与通用模型之间分布的KL散度，该方法避免了过拟合，并在包括细粒度鸟类和汽车识别以及通用ImageNet在内的多样化图像领域中实现了最先进性能。

ABSTRACT

Deep image embedding provides a way to measure the semantic similarity of two images. It plays a central role in many applications such as image search, face verification, and zero-shot learning. It is desirable to have a universal deep embedding model applicable to various domains of images. However, existing methods mainly rely on training specialist embedding models each of which is applicable to images from a single domain. In this paper, we study an important but unexplored task: how to train a single universal image embedding model to match the performance of several specialists on each specialist's domain. Simply fusing the training data from multiple domains cannot solve this problem because some domains become overfitted sooner when trained together using existing methods. Therefore, we propose to distill the knowledge in multiple specialists into a universal embedding to solve this problem. In contrast to existing embedding distillation methods that distill the absolute distances between images, we transform the absolute distances between images into a probabilistic distribution and minimize the KL-divergence between the distributions of the specialists and the universal embedding. Using several public datasets, we validate that our proposed method accomplishes the goal of universal image embedding.

研究动机与目标

• 开发一个通用图像嵌入模型，使其在各自领域内的表现与专业模型相当。
• 解决在融合多领域数据上训练单一模型时出现的早期过拟合问题。
• 克服直接数据融合的局限性，后者因领域不平衡和无效采样而导致性能下降。
• 实现单一嵌入模型在多样化应用中的部署，减少存储和计算开销。
• 在不损失性能的前提下统一粗粒度与细粒度图像领域，特别是在细粒度检索任务中。

提出的方法

• 使用一种新颖的概率蒸馏框架，将多个预训练的专业图像嵌入模型的知识蒸馏到一个通用模型中。
• 使用受t-SNE启发的技术，将绝对图像间距离转换为概率分布，以归一化不同领域间的尺度差异。
• 最小化专业模型与通用模型之间距离概率分布的KL散度。
• 采用SNE-based蒸馏（SND）的改进版本，以解决在统一粗粒度与细粒度领域时出现的距离压缩问题。
• 在训练过程中使用领域平衡采样，以确保所有领域（尤其是低资源领域）得到充分表示。
• 使用三元组损失训练通用模型以处理通用ImageNet数据，同时使用基于蒸馏的损失处理专业数据，从而确保跨领域的鲁棒性。

实验结果

研究问题

• RQ1 一个单一的通用图像嵌入模型是否能在其各自领域内实现与专业模型相当的性能？
• RQ2 为何简单地融合多个领域的数据无法产生性能与专业模型相当的通用模型？
• RQ3 如何有效将多个专业模型的知识迁移至通用模型，同时避免领域不平衡或过拟合问题？
• RQ4 概率距离分布是否可用于对齐具有不同尺度和粒度的领域之间的嵌入？
• RQ5 所提出的蒸馏方法是否在多领域图像检索任务中优于在融合数据上直接训练或基于拼接的基线方法？

主要发现

• 所提出的蒸馏方法在将ImageNet与细粒度数据集统一时，在CUB200-2011上达到69.5的Recall@1，在CARS196上达到72.3，较ImageNet专业模型高出超过20个百分点。
• 在CUB200-2011、CARS196和In-shop数据集的统一中，通用模型分别实现了63.0、80.1和85.4的Recall@1，与各独立专业模型性能相当。
• Ours_SND变体在ImageNet统一设置中优于Ours_RKD，在CARS196上达到72.3的Recall@1，在CUB200-2011上达到69.5，表明其对距离压缩问题的处理更优。
• 即使计算量增加，通过蒸馏训练的通用模型性能仍优于拼接基线和端到端三元组训练在融合数据上的表现。
• 该方法成功缓解了多领域训练中的早期过拟合问题，训练过程中所有数据集的性能曲线均保持稳定。
• 该方法对不同专业模型训练方式具有泛化能力，如从Multi-Similarity训练的专业模型成功完成蒸馏。