[论文解读] Negative Margin Matters: Understanding Margin in Few-shot Classification
该论文表明，在 softmax 损失中使用负边距通过在基类可辨识性与对新类别的可迁移性之间取得平衡，从而提升了少样本分类的性能，在标准基准数据集上达到了最先进的结果。
This paper introduces a negative margin loss to metric learning based few-shot learning methods. The negative margin loss significantly outperforms regular softmax loss, and achieves state-of-the-art accuracy on three standard few-shot classification benchmarks with few bells and whistles. These results are contrary to the common practice in the metric learning field, that the margin is zero or positive. To understand why the negative margin loss performs well for the few-shot classification, we analyze the discriminability of learned features w.r.t different margins for training and novel classes, both empirically and theoretically. We find that although negative margin reduces the feature discriminability for training classes, it may also avoid falsely mapping samples of the same novel class to multiple peaks or clusters, and thus benefit the discrimination of novel classes. Code is available at https://github.com/bl0/negative-margin.few-shot.
研究动机与目标
- 在开放集小样本设定下，阐明为何边距应为负值。
- 引入用于小样本任务度量学习的负边距 softmax 与负边距 cosine softmax 损失。
- 分析边距如何影响基类与新类的可辨识性。
- 在多种骨干网络上展示标准少样本基准上的最先进性能。
提出的方法
- 给出负边距软max 损失（Neg-Softmax）和负边距余弦 softmax 损失（Neg-Cosine）的公式。
- 将边距与 softmax 目标函数结合，使用内积或余弦相似度。
- 定义并计算类别中心、类间与类内方差，以及用于分析边距效应的判别函数 phi。
- 给出理论分析，显示在某些条件下负边距如何提高新类的判别力。
- 采用两阶段训练框架：先在基础类上使用负边距损失进行预训练，然后对新类的分类器进行微调。
实验结果
研究问题
- RQ1在少样本设置中，softmax 学习中的负边距是否能提升对新类的可迁移性？
- RQ2边距如何影响基类与新类的可辨识性，既有经验也有理论分析？
- RQ3负边距损失是否能在不同骨干网络和数据集的标准少样本基准上达到最先进的性能？
- RQ4在跨域和细粒度设定下，边距符号对开放集少样本分类的实际影响是什么？
主要发现
- 负边距 softmax 损失在少样本分类中可以超越常规 softmax 损失。
- Neg-Cosine 在 mini-ImageNet 上针对 1-shot 与 5-shot 的多种骨干网络常常达成最先进的结果。
- 增大正边距提升基类的可辨识性，但会损害新类的辨识力；负边距则为新类辨识力提供更好的权衡。
- 经验与理论分析表明，负边距降低将新类样本映射到基类多个峰值的风险，从而有助于可迁移性。
- 正则化技术（权重衰减、DropBlock 等）进一步提升性能，在多个基准上取得优异结果。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。