[论文解读] Single-Label Multi-Class Image Classification by Deep Logistic Regression

Qi Dong, Xiatian Zhu+1 more|arXiv (Cornell University)|Nov 20, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用 15

一句话总结

本论文提出两种基于逻辑回归（LR）的新目标函数——SS-LR 和 HS-LR，解决了单标签多分类图像识别中的负类干扰（NCD）问题，使 LR 在泛化能力和准确率上超越标准的 Softmax 回归（SR）。这些方法通过困难样本挖掘重新加权负类，实现了在粗粒度物体识别、细粒度行人重识别以及稀疏服装属性分类任务上的最先进性能。

ABSTRACT

The objective learning formulation is essential for the success of convolutional neural networks. In this work, we analyse thoroughly the standard learning objective functions for multi-class classification CNNs: softmax regression (SR) for single-label scenario and logistic regression (LR) for multi-label scenario. Our analyses lead to an inspiration of exploiting LR for single-label classification learning, and then the disclosing of the negative class distraction problem in LR. To address this problem, we develop two novel LR based objective functions that not only generalise the conventional LR but importantly turn out to be competitive alternatives to SR in single label classification. Extensive comparative evaluations demonstrate the model learning advantages of the proposed LR functions over the commonly adopted SR in single-label coarse-grained object categorisation and cross-class fine-grained person instance identification tasks. We also show the performance superiority of our method on clothing attribute classification in comparison to the vanilla LR function.

研究动机与目标

• 探究逻辑回归（LR）是否可作为单标签多分类图像识别任务中 Softmax 回归（SR）的可行替代方案。
• 识别 LR 在单标签设置下表现不佳的根本原因，特别是负类干扰（NCD）问题。
• 开发优化策略，通过重新加权负类来提升模型学习的专注度与泛化能力。
• 在多样化的基准数据集上评估所提出的基于 LR 的方法，包括粗粒度分类、细粒度行人重识别以及稀疏属性识别。
• 证明当通过困难样本挖掘进行适当正则化后，LR 在真实世界图像识别任务中可达到或超越 SR 的性能。

提出的方法

• 提出 SS-LR（Softmax-Style LR），一种重新加权的 LR 目标函数，根据负类与正类之间的间隔大小来缩放其损失。
• 引入 HS-LR（Hard-Selection LR），在训练过程中动态选择最具有混淆性的负类（即最接近正类的负类），以增强模型关注重点。
• 应用困难样本挖掘原则对负类损失进行重新加权，减少干扰，提升模型对正确类别的注意力。
• 采用基于间隔的损失公式，其中每个负类的损失通过其与正类预测距离的函数进行缩放。
• 使用标准深度神经网络（ResNet、DenseNet、MobileNet、WRN）配合 Adam 优化器及标准超参数进行训练。
• 在 HS-LR 中引入对参数 $m$ 敏感的设计，而在 SS-LR 中采用对参数 $r$ 不太敏感的稳健设计，以实现训练的稳定性。

实验结果

研究问题

• RQ1 尽管 LR 传统上用于多标签任务，是否仍可有效应用于单标签多分类图像识别？
• RQ2 在单标签设置下，Softmax 回归（SR）与 LR 的学习动态存在哪些根本性差异？
• RQ3 为何原始 LR 在图像分类中表现不如 SR，其主要学习障碍是什么？
• RQ4 困难样本挖掘技术是否能有效缓解基于 LR 的单标签学习中的负类干扰（NCD）问题？
• RQ5 所提出的基于 LR 的目标函数（SS-LR 和 HS-LR）是否在多样化的图像识别基准上达到或超越标准 SR 的性能？

主要发现

• 所提出的 SS-LR 和 HS-LR 方法在所有评估基准（包括 CIFAR100、Stanford Dogs 和 DeepFashion）上均显著优于原始 LR。
• 在 DeepFashion 属性分类基准上，所提方法在相同测试设置下实现了高于先前最先进结果（54.5%）的每类准确率。
• HS-LR 和 SS-LR 展现出稳定且更快的收敛速度，损失曲线表明其训练动态更健康。
• 所提 LR 方法的收敛速度与 SR 相当，表明不存在显著的训练效率损失。
• 参数敏感性分析显示，HS-LR 中的参数 $m$ 至关重要——较高的 $m$ 值可提升物体分类性能，但会损害行人重识别性能，表明任务特定调优具有优势。
• SS-LR 对其参数 $r$ 的敏感性较低，因此在实际应用中更具鲁棒性且更易于调优，优于 HS-LR。