[论文解读] Understanding Deep Architectures by Visual Summaries

Marco Carletti, Marco Godi+3 more|arXiv (Cornell University)|Jan 27, 2018

Visual Attention and Saliency Detection参考文献 23被引用 4

一句话总结

本文提出了一种新颖的可视化框架，通过在同类别多张图像中识别并聚类显著且清晰的图像区域，揭示深度神经网络所学习到的语义部件。该方法结合稀疏优化以生成锐利的显著性掩码，以及基于语义流的聚类，生成与网络性能相关联且可解释的视觉摘要，通过摘要驱动的SVM专业化实现准确率提升，在ImageNet上将top-1准确率提高了1.08%。

ABSTRACT

In deep learning, visualization techniques extract the salient patterns exploited by deep networks for image classification, focusing on single images; no effort has been spent in investigating whether these patterns are systematically related to precise semantic entities over multiple images belonging to a same class, thus failing to capture the very understanding of the image class the network has realized. This paper goes in this direction, presenting a visualization framework which produces a group of clusters or summaries, each one formed by crisp salient image regions focusing on a particular part that the network has exploited with high regularity to decide for a given class. The approach is based on a sparse optimization step providing sharp image saliency masks that are clustered together by means of a semantic flow similarity measure. The summaries communicate clearly what a network has exploited of a particular image class, and this is proved through automatic image tagging and with a user study. Beyond the deep network understanding, summaries are also useful for many quantitative reasons: their number is correlated with ability of a network to classify (more summaries, better performances), and they can be used to improve the classification accuracy of a network through summary-driven specializations.

研究动机与目标

• 为解决深度网络是否在同类别多张图像中一致利用特定语义部件的系统性分析缺失问题。
• 开发一种可泛化于同类别图像的可视化方法，以识别判别性视觉模式，而非孤立分析单张图像。
• 量化学习到的视觉摘要数量与网络分类性能之间的关系。
• 通过在发现的视觉摘要上专门化分类器，实现模型性能改进。

提出的方法

• 应用稀疏优化生成清晰的二值显著性掩码，突出显示对分类决策贡献最大的区域。
• 将这些掩码的连通域作为局部特征，在同类别图像间进行聚类。
• 采用亲和传播算法并结合语义流相似性度量，将来自不同图像中在空间和语义上相似的区域分组。
• 将显著区域的聚类生成视觉摘要，每个摘要代表对象类别的一个独立语义部件（例如，鼻子、尾巴、腿）。
• 对属于每个摘要的图像训练线性SVM，以专门化该部件的分类。
• 通过凸加权和将SVM得分与原始网络的softmax输出相结合，以提升整体准确率。

实验结果

研究问题

• RQ1 深度网络是否在同类别多张图像中系统性地利用相同的语义部件（例如，鼻子、眼睛、尾巴）？
• RQ2 从多张图像中导出的视觉摘要是否能提供比单张图像显著性图更可解释且可量化的网络行为解释？
• RQ3 视觉摘要的数量与深度网络分类准确率之间是否存在相关性？
• RQ4 是否可以利用发现的摘要来提升预训练网络的分类性能？

主要发现

• 视觉摘要数量与网络性能正相关：从AlexNet（平均6个摘要）到ResNet（9个摘要），分类准确率同步提升。
• GoogleNet在“pickup”类别上学习到9个摘要，而AlexNet仅学习到6个，通过更丰富的部件级理解直观解释了GoogleNet的优越性能。
• 用户研究显示摘要标签的组内一致性较高（平均μU = 0.35），证实摘要捕捉到了用户可可靠识别的有意义且细粒度的语义部件。
• 通过将原始网络预测与在视觉摘要上训练的SVM结合，该方法在ImageNet上将top-1准确率提高了1.08%。
• AlexNet误分类的图像在应用基于摘要的提升后被正确重新分类，表明该方法在故障恢复方面具有实际应用价值。
• 使用锐利掩码在扰动下诱导更高的分类损失，验证了显著性检测中稀疏性的有效性。