[论文解读] Unsupervised Deep Feature Transfer for Low Resolution Image Classification

Yuanwei Wu, Ziming Zhang+1 more|arXiv (Cornell University)|Aug 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用 5

一句话总结

该论文提出了一种无监督深度特征迁移方法，通过在不微调卷积滤波器的情况下，将高分辨率图像中的判别性特征迁移到低分辨率图像中，从而提升低分辨率图像分类性能。使用预训练的ResNet-101提取特征，该方法通过k均值聚类生成的伪标签，利用两层全连接网络实现特征迁移，在VOC2007数据集上相比基线低分辨率特征提取方法实现了2%的mAP提升。

ABSTRACT

In this paper, we propose a simple while effective unsupervised deep feature transfer algorithm for low resolution image classification. No fine-tuning on convenet filters is required in our method. We use pre-trained convenet to extract features for both high- and low-resolution images, and then feed them into a two-layer feature transfer network for knowledge transfer. A SVM classifier is learned directly using these transferred low resolution features. Our network can be embedded into the state-of-the-art deep neural networks as a plug-in feature enhancement module. It preserves data structures in feature space for high resolution images, and transfers the distinguishing features from a well-structured source domain (high resolution features space) to a not well-organized target domain (low resolution features space). Extensive experiments on VOC2007 test set show that the proposed method achieves significant improvements over the baseline of using feature extraction.

研究动机与目标

• 在真实应用场景中提升低分辨率图像分类性能，其中训练阶段可访问高分辨率数据，但推理阶段仅能使用低分辨率图像。
• 解决因判别性特征丢失而导致的低分辨率图像分类性能下降问题。
• 开发一种即插即用的特征增强模块，将高分辨率特征空间的知识迁移到低分辨率特征空间，且无需微调主干网络。
• 通过利用伪标签的高分辨率特征，保持特征空间中的数据结构和类别可分性，以指导低分辨率特征学习。

提出的方法

• 使用预训练的ResNet-101网络从高分辨率和低分辨率图像中提取2048维特征。
• 通过k均值聚类对高分辨率特征进行聚类，生成伪标签，用于指导特征迁移网络的训练。
• 采用两层全连接网络（分别包含4096和100个神经元）执行特征迁移，将低分辨率特征映射到更具判别性的100维空间。
• 使用随机梯度下降优化，配合权重衰减、动量以及余弦退火学习率调度策略，在伪标签的高分辨率特征上进行网络训练。
• 直接在迁移后的低分辨率特征上训练线性SVM分类器，用于最终分类。
• 特征迁移网络被设计为即插即用模块，可与当前最先进的深度神经网络兼容。

实验结果

研究问题

• RQ1 在不微调主干网络的前提下，能否通过从高分辨率到低分辨率图像的无监督特征迁移来提升分类性能？
• RQ2 通过k均值聚类高分辨率特征生成的伪标签，在指导低分辨率特征学习方面有多高效？
• RQ3 与直接的低分辨率特征提取相比，所提方法在多大程度上保持了特征空间中的类别可分性？
• RQ4 该特征迁移网络能否作为即插即用模块有效集成到现有的深度学习流水线中？

主要发现

• 在VOC2007测试集上，所提方法相比基线低分辨率特征提取方法，mAP提升了2%。
• t-SNE可视化结果表明，迁移后的低分辨率特征相比原始低分辨率特征具有更优的类别分离性，表明其判别能力显著增强。
• 通过在mAP上进行网格搜索，确定两层特征迁移网络的最优结构为：第一层4096个神经元，第二层100个神经元。
• 在VOC2007数据集的大多数类别上，该方法优于使用低分辨率特征的基线方法，仅在“bottle”和“sheep”类别上表现稍差。
• 该方法在低分辨率特征空间中保留了高分辨率特征的优良数据分布结构，从而增强了分类的鲁棒性。
• 特征迁移模块可作为即插即用的特征增强组件嵌入到当前最先进的深度网络中，且无需对主干网络进行微调。