[论文解读] On the Importance of Firth Bias Reduction in Few-Shot Classification

Saba Ghaffari, Ehsan Saleh+2 more|arXiv (Cornell University)|Oct 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 86被引用 4

一句话总结

本文提出Firth偏差缩减作为少样本图像分类的一种简单但极为有效的正则化技术，将其重新表述为均匀类别分布与模型预测之间的KL散度惩罚。该方法在多种主干网络、数据设置和分类器类型下均实现了0.5–3%的一致性准确率提升，优于L2正则化、标签平滑和数据增强，尤其在低样本和类别不平衡场景下表现更优。

ABSTRACT

Learning accurate classifiers for novel categories from very few examples, known as few-shot image classification, is a challenging task in statistical machine learning and computer vision. The performance in few-shot classification suffers from the bias in the estimation of classifier parameters; however, an effective underlying bias reduction technique that could alleviate this issue in training few-shot classifiers has been overlooked. In this work, we demonstrate the effectiveness of Firth bias reduction in few-shot classification. Theoretically, Firth bias reduction removes the $O(N^{-1})$ first order term from the small-sample bias of the Maximum Likelihood Estimator. Here we show that the general Firth bias reduction technique simplifies to encouraging uniform class assignment probabilities for multinomial logistic classification, and almost has the same effect in cosine classifiers. We derive an easy-to-implement optimization objective for Firth penalized multinomial logistic and cosine classifiers, which is equivalent to penalizing the cross-entropy loss with a KL-divergence between the uniform label distribution and the predictions. Then, we empirically evaluate that it is consistently effective across the board for few-shot image classification, regardless of (1) the feature representations from different backbones, (2) the number of samples per class, and (3) the number of classes. Finally, we show the robustness of Firth bias reduction, in the case of imbalanced data distribution. Our implementation is available at https://github.com/ehsansaleh/firth_bias_reduction

研究动机与目标

• 解决在极少数样本上训练少样本分类器时被低估的参数估计偏差问题。
• 探究在统计学中已知可减少小样本偏差的Firth偏差缩减是否能提升少样本学习性能。
• 证明Firth惩罚在不同特征主干网络、类别不平衡、类别数量或分类器架构下均有效。
• 表明Firth偏差缩减无法通过L2或标签平滑等标准正则化技术实现。
• 确立Firth惩罚作为提升少样本学习中小样本分类器训练性能的稳健且通用的解决方案。

提出的方法

• 将Firth惩罚最大似然估计（PMLE）重新表述为均匀标签分布与模型预测之间的KL散度惩罚，从而可轻松集成到标准训练流程中。
• 推导出一种简化的优化目标，即在交叉熵损失基础上增加一个对数行列式惩罚（log det(F)），等价于最小化先验均匀分布与输出概率之间的KL散度。
• 将Firth惩罚同时应用于多项式逻辑分类器和余弦分类器，证明其在两种情况下具有几何与统计上的等价性。
• 将该方法实现为可微的、与层无关的损失项，可与任意主干网络和分类头配合使用。
• 通过在多个数据集（tiered-ImageNet、CIFAR-FS）、主干网络（ResNet、DenseNet、MobileNet）和少样本设置（1–5 shot，5–16类）上进行实证评估。
• 与强基线方法进行比较：L2正则化、置信度惩罚、统一标签平滑和使用人工样本的数据增强。

实验结果

研究问题

• RQ1 Firth偏差缩减是否能在多种主干网络和数据分布下持续提升少样本图像分类准确率？
• RQ2 在小样本场景下，Firth惩罚是否优于L2和标签平滑等标准正则化技术？
• RQ3 当存在类别不平衡或使用人工数据增强时，Firth偏差缩减的效果如何？
• RQ4 Firth惩罚是否可推广至标准逻辑模型之外，例如在元学习中使用的余弦分类器？
• RQ5 Firth惩罚带来的性能提升在多个少样本基准和超参数设置下是否具有统计显著性且稳健？

主要发现

• Firth偏差缩减在所有评估的主干网络（包括ResNet、DenseNet和MobileNet）上均一致地将少样本分类准确率提升0.5%至3%。
• 所有测试设置下（包括平衡与不平衡数据分布，以及1–16 shot和5–16类分类任务）的提升均具有统计显著性。
• Firth惩罚优于L2正则化，后者在相同少样本设置下仅表现出微不足道的改进。
• Firth偏差缩减还优于先进的标签平滑变体（如置信度惩罚和统一平滑），后者无法复制其偏差减少效果。
• 即使在使用人工数据增强（如每类750个合成样本）的情况下，Firth惩罚仍能带来显著提升，表明其解决了数据稀缺之外的根本性估计偏差问题。
• 在跨域少样本设置中，Firth惩罚在数据增强因域移位而失效时仍保持有效，凸显其对分布偏移的鲁棒性。