[论文解读] Unsupervised Learning on Neural Network Outputs

Yao Lu|arXiv (Cornell University)|Jun 2, 2015

Domain Adaptation and Few-Shot Learning参考文献 31被引用 12

一句话总结

本文提出在ImageNet上训练的深度卷积神经网络（CNN）输出上应用主成分分析（PCA）和独立成分分析（ICA），以揭示不同物体类别之间的隐藏视觉相似性。通过从网络的概率输出中学习共享视觉特征，该方法在扩展至20,000类的ImageNet数据集上实现了最先进的零样本学习性能，通过利用神经网络预测中的结构化语义关系，超越了先前的方法。

ABSTRACT

The outputs of a trained neural network contain much richer information than just an one-hot classifier. For example, a neural network might give an image of a dog the probability of one in a million of being a cat but it is still much larger than the probability of being a car. To reveal the hidden structure in them, we apply two unsupervised learning algorithms, PCA and ICA, to the outputs of a deep Convolutional Neural Network trained on the ImageNet of 1000 classes. The PCA/ICA embedding of the object classes reveals their visual similarity and the PCA/ICA components can be interpreted as common visual features shared by similar object classes. For an application, we proposed a new zero-shot learning method, in which the visual features learned by PCA/ICA are employed. Our zero-shot learning method achieves the state-of-the-art results on the ImageNet of over 20000 classes.

研究动机与目标

• 揭示在监督训练中未明确标注的物体类别之间的隐藏语义与视觉关系。
• 探究训练好的深度CNN的概率输出是否包含超越分类任务的视觉相似性结构化信息。
• 开发一种利用网络输出上无监督表征学习的零样本学习方法，实现广义识别。
• 通过建模神经网络预测中的语义关系，提升大规模开放词汇图像分类中的零样本学习性能。

提出的方法

• 对在ImageNet上训练的CNN输出概率应用主成分分析（PCA），以提取捕捉不同物体类别间视觉相似性的低维嵌入。
• 对相同输出应用独立成分分析（ICA），以识别在语义相似类别间共享的统计独立视觉特征。
• 将主成分与独立成分解释为共享视觉特征（如纹理、形状或部件），这些特征存在于一组语义相似的物体类别中。
• 构建一个零样本学习框架，其中PCA/ICA嵌入作为语义向量，用于预测未见类别的类别表征。
• 使用PCA/ICA生成的视觉特征训练零样本分类器，以实现对训练期间未见物体类别的泛化。

实验结果

研究问题

• RQ1 在ImageNet上训练的深度CNN输出概率能否揭示物体类别之间的有意义视觉相似性？
• RQ2 CNN输出的主成分与独立成分是否对应于语义相似类别间共享的可解释视觉特征？
• RQ3 对CNN输出进行无监督表征学习能否提升对未见类别的零样本泛化能力？
• RQ4 在大规模开放词汇基准上，该方法与现有零样本学习方法相比，准确率如何？

主要发现

• CNN输出的PCA与ICA成分对应于可解释的视觉特征（如纹理、形状或部件），这些特征在语义相似的物体类别间共享。
• PCA/ICA揭示的视觉相似性结构与人类标注的物体类别间语义关系高度一致。
• 所提出的零样本学习方法在扩展至20,000余类的ImageNet上实现了最先进的性能。
• 该方法通过利用神经网络输出中的结构化语义信息，显著优于先前的零样本学习方法。