[论文解读] Unsupervised Embedding Learning via Invariant and Spreading Instance Feature

Mang Ye, Xu Zhang+2 more|arXiv (Cornell University)|Apr 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用 80

一句话总结

本论文提出一种通过Siamese网络训练的逐实例softmax嵌入，用以学习对数据增强不变且实例分散的特征，用于无监督嵌入，在已见与未见类别上实现快速收敛和强性能。

ABSTRACT

This paper studies the unsupervised embedding learning problem, which requires an effective similarity measurement between samples in low-dimensional embedding space. Motivated by the positive concentrated and negative separated properties observed from category-wise supervised learning, we propose to utilize the instance-wise supervision to approximate these properties, which aims at learning data augmentation invariant and instance spread-out features. To achieve this goal, we propose a novel instance based softmax embedding method, which directly optimizes the `real' instance features on top of the softmax function. It achieves significantly faster learning speed and higher accuracy than all existing methods. The proposed method performs well for both seen and unseen testing categories with cosine similarity. It also achieves competitive performance even without pre-trained network over samples from fine-grained categories.

研究动机与目标

• 通过利用逐实例监督，激励在没有标签的情况下学习判别性嵌入。
• 在数据增强下强制同一图像实例的不变性，同时确保不同实例的特征被拉开。
• 开发一种高效的基于实例特征的softmax形式，直接优化嵌入特征。
• 在包含已见和未见类别的标准无监督嵌入基准上展示改进的性能。

提出的方法

• 提出一种基于实例特征的softmax嵌入，直接优化真实的实例特征，而非分类器权重或记忆库。
• 对每个实例使用随机数据增强，以在同一实例上实现增强不变性。
• 采用小批量方法，抽取m个实例并通过Siamese网络以二分类视角处理。
• 在温度参数τ下，基于实例特征和增强特征的内积定义概率P(i|x̂i)和P(i|xj)。
• 在一个批次中的所有实例上最小化负对数似然J，将P(i|x̂i)与1−P(i|xj)结合，以实现增强不变性和分布扩展性。
• 提供理论依据，说明最大化P(i|x̂i)并最小化P(i|xj)如何促使同一实例内的不变性和不同实例之间的扩散。

实验结果

研究问题

• RQ1 逐实例监督能否在无监督 setting 下替代类别级标签来学习判别性嵌入？
• RQ2 数据增强不变性和实例扩散性是否共同提升对已见和未见类别的嵌入质量？
• RQ3 通过softmax形式直接对实例特征进行优化是否比基于权重或记忆的办法更快收敛并获得更好准确性？
• RQ4 学得的嵌入在细粒度数据集的未见类别上的泛化能力如何？

主要发现

• 在CIFAR-10和STL-10的kNN和线性评估中，在无监督嵌入方法中达到最先进的性能。
• 展示更快的学习速度，更早达到更高的准确率（例如CIFAR-10 kNN在128维嵌入下为83.6%），并且相比竞争对手需要更少的训练轮次达到具竞争力的准确性。
• 通过直接对真实实例特征进行优化，超越样本分类器和记忆库softmax变体。
• 在CUB200、Product和Car196数据集上对未见类别表现出强泛化，检索(R@K)和聚类(NMI)指标具有竞争力或优越。
• 消融研究证实数据增强（尤其是RandomResizedCrop）和困难负样本策略对性能提升的重要性。