[论文解读] VisualBackProp: efficient visualization of CNNs

Mariusz Bojarski, Anna Choromanska+5 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Neural Network Applications参考文献 30被引用 45

一句话总结

本文提出 VisualBackProp，一种计算效率高的方法，通过在特征图上反向传播相关性值而非梯度，来可视化影响卷积神经网络（CNN）预测的输入图像区域。该方法实现毫秒级实时性能（每张掩码2.0ms），可视化质量与逐层相关性传播（LRP）相当，但速度提升12倍，适用于自动驾驶等应用中CNN的实时调试。

ABSTRACT

This paper proposes a new method, that we call VisualBackProp, for visualizing which sets of pixels of the input image contribute most to the predictions made by the convolutional neural network (CNN). The method heavily hinges on exploring the intuition that the feature maps contain less and less irrelevant information to the prediction decision when moving deeper into the network. The technique we propose was developed as a debugging tool for CNN-based systems for steering self-driving cars and is therefore required to run in real-time, i.e. it was designed to require less computations than a forward propagation. This makes the presented visualization method a valuable debugging tool which can be easily used during both training and inference. We furthermore justify our approach with theoretical arguments and theoretically confirm that the proposed method identifies sets of input pixels, rather than individual pixels, that collaboratively contribute to the prediction. Our theoretical findings stand in agreement with the experimental results. The empirical evaluation shows the plausibility of the proposed approach on the road video data as well as in other applications and reveals that it compares favorably to the layer-wise relevance propagation approach, i.e. it obtains similar visualization results and simultaneously achieves order of magnitude speed-ups.

研究动机与目标

• 开发一种面向端到端自动驾驶系统中CNN预测的实时、高效可视化方法。
• 识别对CNN输出决策最具影响力的输入像素，重点关注车道线等有意义的视觉线索。
• 提供一种理论基础坚实的替代方案，以取代基于梯度或启发式的方法，实现可证明的相关性传播。
• 通过将计算成本降低至前向传播之下，实现在训练和推理阶段的实用化调试。
• 在自动驾驶视频数据和基准数据集上验证该方法，结果表明其在保持与LRP相似性的同时，显著提升了速度。

提出的方法

• VisualBackProp 使用基于数值的反向传播，而非基于梯度的方法，将相关性从最后一层卷积层反向传播至输入图像。
• 从包含高层、相关表示的最后卷积层的特征图开始，反向传播过程中逐步提高空间分辨率。
• 该方法基于网络流原理，采用非梯度的消息传递机制，将浅层的高分辨率特征与深层的高相关性信息相结合。
• 通过守恒原则逐层重新分配相关性，确保各层间总相关性保持不变。
• 该算法为每个输入像素计算相关性得分，突出显示对预测贡献最大的区域。
• 该方法在Torch7中实现并启用GPU加速，实现每张可视化掩码约2.0ms的实时推理性能。

实验结果

研究问题

• RQ1 非梯度、基于数值的反向传播方法能否生成可靠且可解释的CNN决策可视化？
• RQ2 VisualBackProp 是否能在自动驾驶场景中识别出有意义的、语义相关的图像区域，如车道线或道路边缘？
• RQ3 在实时部署中，VisualBackProp 的计算效率与 SOTA 方法（如 LRP）相比如何？
• RQ4 在定性和定量相似性方面，VisualBackProp 的可视化结果与 LRP 相比有多接近？
• RQ5 VisualBackProp 能否揭示CNN在预测方向盘转向角时是否学会忽略无关视觉线索（如水平线条）？

主要发现

• VisualBackProp 生成的可视化掩码在定性上与 LRP 生成的结果极为相似，表明其在识别相关图像区域方面具有高保真度。
• 在 GeForce GTX 970M 上，VisualBackProp 每张掩码耗时 2.0ms，比 LRP 的 24.6ms 快 12 倍，适用于实时应用。
• 在自动驾驶数据上，即使车道线被阴影遮挡或从视野中消失，VisualBackProp 仍能正确识别车道线为主要决策线索。
• 当预测方向盘转向角时，网络学会忽略水平车道线及其他无关特征（如路面纹理），表现出鲁棒性。
• 在高预测误差情况下（如 -20.74° SWA），VisualBackProp 揭示网络将注意力集中在低质量或模糊的视觉线索上，提供了诊断性洞察。
• 在 ImageNet 和 German Traffic Sign Detection Benchmark 上的实证结果表明，VisualBackProp 不仅在自动驾驶任务中表现良好，且在多样化任务中均保持强劲性能，具有良好的泛化能力。