[论文解读] VisualBackProp for learning using privileged information with CNNs

Devansh Bisla, Anna Choromanska|arXiv (Cornell University)|May 24, 2018

Machine Learning and Data Classification参考文献 21被引用 3

一句话总结

本文提出 VisualBackProp，一种通过轻量级、无参数的架构模块，将分割掩码等特权信息融入卷积神经网络（CNN）训练的方法，以引导模型关注图像中的相关区域。该方法通过反向可视化强制关注显著特征，在不修改推理流程的前提下，使 ImageNet 上的分类准确率提升 2.4%，PASCAL VOC 上提升 2.7%。

ABSTRACT

In many machine learning applications, from medical diagnostics to autonomous driving, the availability of prior knowledge can be used to improve the predictive performance of learning algorithms and incorporate `physical,' `domain knowledge,' or `common sense' concepts into training of machine learning systems as well as verify constraints/properties of the systems. We explore the learning using privileged information paradigm and show how to incorporate the privileged information, such as segmentation mask available along with the classification label of each example, into the training stage of convolutional neural networks. This is done by augmenting the CNN model with an architectural component that effectively focuses model's attention on the desired region of the input image during the training process and that is transparent to the network's label prediction mechanism at testing. This component effectively corresponds to the visualization strategy for identifying the parts of the input, often referred to as visualization mask, that most contribute to the prediction, yet uses this strategy in reverse to the classical setting in order to enforce the desired visualization mask instead. We verify our proposed algorithms through exhaustive experiments on benchmark ImageNet and PASCAL VOC data sets and achieve improvements in the performance of $2.4\%$ and $2.7\%$ over standard single-supervision model training. Finally, we confirm the effectiveness of our approach on skin lesion classification problem.

研究动机与目标

• 通过在训练过程中引入领域特定的特权信息（如分割掩码），提升 CNN 的泛化能力。
• 解决标准监督学习的局限性，即模型可能因缺乏对特征选择的控制而学习到虚假相关性。
• 开发一种方法，在不改变推理架构的前提下，引导模型关注图像中的相关区域。
• 在多样化的基准测试上验证该方法的有效性，包括医学皮肤病变分类任务。

提出的方法

• 引入一种无参数的架构组件，利用 VisualBackProp 在训练过程中反向传播期望的可视化掩码。
• 以反向方式应用可视化掩码：并非在事后识别显著特征，而是在学习过程中强制关注特定区域。
• 仅使用线性操作（平均池化、转置卷积和逐点乘法），使其兼容任何 CNN 架构。
• 在所有卷积层中以全分辨率应用特权掩码，抑制背景或伪影等无关特征。
• 测试时保持与原始网络架构一致，确保无推理开销。
• 采用双监督框架：训练期间同时使用标准标签监督和特权掩码监督。

实验结果

研究问题

• RQ1 将分割掩码作为特权信息引入，能否提升图像分类任务中 CNN 的性能？
• RQ2 VisualBackProp 的反向可视化机制如何影响特征学习与模型泛化？
• RQ3 在准确率与鲁棒性方面，该方法是否优于标准数据增强和输入掩码技术？
• RQ4 该方法能否在医学图像分类中有效应用，其中背景伪影（如尺子、毛发）常导致模型误判？

主要发现

• 在 ImageNet 数据集上，与标准单监督训练相比，该方法实现了 2.4% 的 top-1 准确率绝对提升。
• 在 PASCAL VOC 数据集上，与基线训练相比，mAP 的平均值提升了 2.7%。
• 在皮肤病变分类任务中，Full Focus 变体在黑色素瘤分类中达到 0.815 的 AUC，优于常规训练基线（0.802）。
• Half Focus 变体生成了更清晰的可视化掩码，在脂溢性角化病分类中达到最高的 AUC（0.941），超过基线（0.924）。
• 典型可视化结果表明，该方法能有效抑制对毛发、尺子等背景伪影的关注，转而聚焦于病灶区域。
• 该方法的计算操作数少于一次前向传播，因此计算效率极高，适合在真实系统中部署。