[论文解读] Training with Confusion for Fine-Grained Visual Classification.
本文提出了一种名为 Training-with-Confusion 的新型优化方法，通过在训练过程中有意识地引入神经网络激活的混淆，以提升细粒度视觉分类的泛化能力并减少过拟合。该方法在多种数据集上表现优异，对小样本训练集和标签噪声具有鲁棒性，并在无需推理开销的情况下实现了最先进性能。
Research in Fine-Grained Visual Classification has focused on tackling the variations in pose, lighting, and viewpoint using sophisticated localization and segmentation techniques, and the usage of robust texture features to improve performance. In this work, we look at the fundamental optimization of neural network training for fine-grained classification tasks with minimal inter-class variance, and attempt to learn features with increased generalization to prevent overfitting. We introduce Training-with-Confusion, an optimization procedure for fine-grained classification tasks that regularizes training by introducing confusion in activations. Our method can be generalized to any fine-tuning task; it is robust to the presence of small training sets and label noise; and adds no overhead to the prediction time. We find that Training-with-Confusion improves the state-of-the-art on all major fine-grained classification datasets.
研究动机与目标
- 解决由于类间方差极小和训练集过小导致的细粒度视觉分类过拟合问题。
- 在不增加推理时间或复杂架构的前提下提升模型泛化能力。
- 开发一种对标签噪声和小样本数据集具有鲁棒性的训练过程。
- 引入一种正则化机制，通过受控的激活混淆增强特征学习。
提出的方法
- 在反向传播过程中引入混淆正则化项，以鼓励相似类别之间的模糊激活模式。
- 通过在损失函数中增加一个混淆成分来惩罚细粒度类别上的过度自信预测。
- 该方法与网络架构无关，可应用于任何预训练模型的微调过程。
- 通过在训练过程中交换或混合相似类别的特征来引入混淆，以模拟模糊样本。
- 该方法不改变模型架构或推理时间，因此适用于高效部署。
- 与标准优化流程兼容，除标准学习率外无需额外超参数。
实验结果
研究问题
- RQ1在神经网络激活中引入受控混淆是否能提升细粒度分类的泛化能力？
- RQ2Training-with-Confusion 在标签噪声和数据量有限的情况下表现如何？
- RQ3该方法是否在不增加推理成本的前提下保持或提升准确率？
- RQ4该方法是否能在不同细粒度分类基准上实现泛化？
- RQ5该方法对数据分布变化和类别相似度差异是否具有鲁棒性？
主要发现
- Training-with-Confusion 在所有主要细粒度分类数据集上均实现了最先进性能。
- 该方法显著提升了泛化能力，尤其在低数据场景和标签噪声环境下表现突出。
- 它在不增加推理阶段计算成本的前提下增强了模型鲁棒性。
- 该方法在多种架构和数据集上均表现有效，展现出广泛的适用性。
- 混淆正则化通过降低对相似类别的过度自信，促进了更具判别性的特征学习。
- 即使使用标准 ResNet 主干网络和标准训练协议，该方法仍优于现有技术。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。