[论文解读] Texture Bias Of CNNs Limits Few-Shot Classification Performance
本文表明，卷积神经网络（CNN）的纹理偏差会因训练集与测试集类别之间的分布差异而严重限制少样本分类性能。通过在真实图像与风格化图像的混合数据上进行预训练以减少纹理偏差，并结合测试时数据增强，作者采用一种简单的非参数方法，在5-shot 5-way mini-ImageNet基准上实现了80.4%的最先进准确率。
Accurate image classification given small amounts of labelled data (few-shot classification) remains an open problem in computer vision. In this work we examine how the known texture bias of Convolutional Neural Networks (CNNs) affects few-shot classification performance. Although texture bias can help in standard image classification, in this work we show it significantly harms few-shot classification performance. After correcting this bias we demonstrate state-of-the-art performance on the competitive miniImageNet task using a method far simpler than the current best performing few-shot learning approaches.
研究动机与目标
- 研究CNN已知的纹理偏差在存在训练与测试类别分布差异的情况下，如何影响少样本分类性能。
- 确定通过减少纹理偏差是否能提升在测试类别与训练类别不同的少样本学习场景中的泛化能力。
- 开发一种更简单的非参数方法，通过缓解纹理偏差，使其在性能上超越复杂的最先进少样本学习模型。
提出的方法
- 在mini-ImageNet的真实图像与风格化图像混合数据集上预训练原型网络，以减少纹理偏差。
- 在测试时采用数据增强策略，对每个支持集和查询集图像应用32种随机增强，以模拟更高样本量的设置。
- 通过多个增强视图的加权平均，计算类原型，即原始和支持集图像嵌入的平均值。
- 基于查询图像嵌入与增强后原型之间的欧氏距离进行分类，其中距离值在多个增强后的查询嵌入上取平均。
- 使用标准原型网络损失进行模型训练，但数据分布中包含风格化图像，以鼓励学习基于形状的特征。
- 进行消融实验，评估风格化预训练以及不同水平的测试时数据增强对性能的影响。
实验结果
研究问题
- RQ1当训练集与测试集类别之间存在分布差异时，CNN的纹理偏差是否会导致少样本分类性能下降？
- RQ2通过使用风格化数据进行预训练来减少纹理偏差，是否能提升少样本泛化能力？
- RQ3测试时数据增强在多大程度上能缓解纹理偏差在少样本学习中的负面影响？
- RQ4当纹理偏差被纠正后，简单的非参数方法是否能与复杂的参数化少样本学习模型相媲美？
- RQ5在预训练阶段，真实数据与风格化数据的最优比例是多少，以实现最佳少样本性能？
主要发现
- 在真实与风格化图像的组合数据上进行预训练，尽管在标准ImageNet准确率上略有下降，但在mini-ImageNet上的少样本分类准确率仍有所提升，表明纹理偏差在分布差异下会损害泛化能力。
- 所提方法在5-shot 5-way mini-ImageNet基准上实现了80.4%的测试准确率，超越了此前由CASTLE模型达到的79.52%最先进结果。
- 在支持集和查询集上均应用测试时增强（TTA）显著提升了性能，最佳结果（80.4%）在同时对支持集和查询集应用TTA时达成。
- 消融实验表明，仅使用风格化数据进行预训练会导致准确率下降（72.9%），但与真实数据结合后性能提升至78.8%，证明了数据组成平衡的重要性。
- 最优的预训练数据组合约为30%风格化数据；超过此比例后性能下降，原因在于对基于形状的特征产生过度依赖。
- 风格化数据比例的性能曲线（图2）证实，减少纹理偏差能提升少样本泛化能力，当采用完整TTA与平衡预训练时，准确率峰值达到80.4%。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。