[论文解读] Transfer learning based few-shot classification using optimal transport mapping from preprocessed latent space of backbone neural network

Tomáš Chobola, Daniel Vašata+1 more|arXiv (Cornell University)|Feb 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用 9

一句话总结

本文提出了一种新颖的少样本分类方法，通过预处理的主干神经网络潜在空间中的最优传输映射实现。通过应用潜在空间变换（LST）将类别分布归一化为高斯分布，并利用无标签数据通过基于Sinkhorn的最优传输迭代优化类别中心，该方法实现了最先进性能，在MetaDL Challenge 2020中排名第二。

ABSTRACT

MetaDL Challenge 2020 focused on image classification tasks in few-shot settings. This paper describes second best submission in the competition. Our meta learning approach modifies the distribution of classes in a latent space produced by a backbone network for each class in order to better follow the Gaussian distribution. After this operation which we call Latent Space Transform algorithm, centers of classes are further aligned in an iterative fashion of the Expectation Maximisation algorithm to utilize information in unlabeled data that are often provided on top of few labelled instances. For this task, we utilize optimal transport mapping using the Sinkhorn algorithm. Our experiments show that this approach outperforms previous works as well as other variants of the algorithm, using K-Nearest Neighbour algorithm, Gaussian Mixture Models, etc.

研究动机与目标

• 解决预训练主干网络潜在特征空间中非高斯分布的问题，该问题会削弱依赖高斯假设的下游少样本分类方法的性能。
• 通过将潜在空间变换为更接近高斯分布的形式，提升基于最优传输映射的有效性，从而提高少样本分类的准确性。
• 在推理过程中利用无标签数据，通过基于Sinkhorn最优传输的迭代中心优化方法，提升低数据场景下的泛化能力。
• 开发一种鲁棒的元学习流程，使其在1-shot和5-shot设置下均优于现有方法，包括幂变换和替代聚类基线。
• 为适应竞赛中的实际约束（如运行时间限制），采用轻量级ResNet主干网络，在保持高准确率的同时实现高效推理。

提出的方法

• 应用潜在空间变换（LST）算法对主干网络潜在空间中的特征向量进行重参数化，使用幂变换减少偏度并提升高斯性。
• 使用Sinkhorn算法计算变换后潜在空间中类别中心之间的最优传输映射，实现对新类别原型的精确对齐，利用有标签和无标签数据的支持。
• 通过类似期望最大化（EM）的迭代过程，交替执行将无标签样本分配给最近邻中心，以及基于其加权贡献更新中心的操作，实现类别中心的迭代优化。
• 将LST预处理后的特征集成到元学习框架中，通过将查询样本最近邻分配至优化后的类别中心实现分类。
• 将原始的MAP（最大后验概率）推理步骤替换为其他分类器（如KNN、GMM），以评估鲁棒性并隔离LST预处理的贡献。
• 在应用LST前，通过数据增强（包括随机亮度/饱和度调整和90°旋转）训练主干网络，以提升特征的泛化能力。

实验结果

研究问题

• RQ1 将预训练主干网络的潜在空间变换为更接近高斯分布的形式，是否能提升少样本分类性能？
• RQ2 在无标签数据上使用基于最优传输的迭代中心优化，是否能生成比标准聚类或MAP推理更准确的类别原型？
• RQ3 在不同少样本基准测试中，所提出的潜在空间变换（LST）与幂变换（PT）相比，在准确率和统计显著性方面表现如何？
• RQ4 在运行时间受限的条件下，结合LST和最优传输方法，轻量级ResNet主干网络在多大程度上能实现具有竞争力的性能？
• RQ5 LST带来的性能提升是否对不同分类头（如KNN、GMM）均具有鲁棒性，还是仅针对原始框架中使用的基于MAP的推理方法有效？

主要发现

• LST+MAP模型在5-shot CIFAR-FS基准上达到90.73% ± 0.15%的准确率，在CUB上达到94.09% ± 0.09%，优于PT+MAP基线。
• 配对t检验显示，在1-shot和5-shot设置下，LST+MAP在CIFAR-FS和CUB上均显著优于PT+MAP（p值 < 0.0001），仅在CUB的5-shot设置中不显著（p = 0.78）。
• 即使不使用MAP推理步骤，仅将KNN或GMM替换到LST变换后的特征上，也能获得具有竞争力的结果，证明了LST预处理的鲁棒性。
• LST方法显著优于幂变换基线，在所有测试数据集和样本设置中均观察到性能提升。
• 在GPU后端下，1-shot设置的平均推理时间为每轮0.0026秒，5-shot设置为0.003秒，表明计算效率高。
• 在MetaDL Challenge 2020中，基于LST的方法在最终排行榜中获得第二名，验证了其在真实竞赛约束下的有效性。