[论文解读] Understanding Deep Architectures by Interpretable Visual Summaries

Marco Carletti, Marco Godi+2 more|arXiv (Cornell University)|Jan 1, 2018

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 3

一句话总结

本文提出了一种可视化框架，通过聚类深度网络在分类中持续使用的显著图像区域，生成可解释的、语义上有意义的摘要。该框架利用稀疏优化和基于提议流的相似性，识别并分组判别性部件（如知更鸟图像中的头部、翅膀和尾部），从而实现清晰、通用的解释，并揭示架构差异，例如GoogleNet相比AlexNet在部件覆盖上的优越性。

ABSTRACT

A consistent body of research investigates the recurrent visual patterns exploited by deep networks for object classification with the help of diverse visualization techniques. Unfortunately, no effort has been spent in showing that these techniques are effective in leading researchers to univocal and exhaustive explanations. This paper goes in this direction, presenting a visualization framework owing to a group of clusters or summaries, each one formed by crisp image regions focusing on a particular part that the network has exploited with high regularity to classify a given class. In most of the cases, these parts carry a semantic meaning, making the explanation simple and universal. For example, the method suggests that AlexNet, when classifying the ImageNet class robin, is very sensible to the patterns of the head, the body, the legs, the wings and the tail, providing five summaries where these parts are consistently highlighted. The approach is composed by a sparse optimization step providing sharp image masks whose perturbation causes high loss in the classification. Regions composing the masks are then clustered together by means of a proposal flow-based similarity score, that associates visually similar patterns of diverse objects which are in corresponding positions. The final clusters are visual summaries easy to be interpreted, as found by the very first user study of this kind. The summaries can be also used to compare different architectures: for example, the superiority of GoogleNet w.r.t. AlexNet is explained by our approach since the former gives rise to more summaries, indicating its ability in capturing a higher number of diverse semantic parts.

研究动机与目标

• 解决深度网络在对象分类决策中缺乏一致、全面且可解释的解释的问题。
• 开发一种可视化框架，生成统一、人类可读的网络用于分类的部件摘要。
• 通过量化和可视化网络关注的语义部件的多样性和数量，实现对深度网络架构的对比分析。
• 通过用户研究验证该方法生成的解释具有普遍可解释性和语义意义。

提出的方法

• 应用稀疏优化生成锐利的图像掩码，当这些掩码被扰动时，会导致显著的分类损失，从而识别出关键区域。
• 使用基于提议流的相似性评分，将不同图像中视觉相似且空间对应的区域聚类为组。
• 将这些区域聚类为连贯的摘要，代表某一类别中频繁使用的语义部件（例如，头部、翅膀等）。
• 生成可解释的视觉摘要，其中每个聚类突出显示对象的一个独特且语义上有意义的部件。
• 利用聚类的数量和多样性来比较网络架构，如AlexNet与GoogleNet的对比。
• 通过用户研究验证可解释性，证明摘要的清晰性和普遍性。

实验结果

研究问题

• RQ1 是否可以通过对显著图像部件的一致、可解释的视觉摘要来解释深度网络的决策过程？
• RQ2 所识别的视觉摘要是否对应于普遍可识别的、语义上有意义的对象部件？
• RQ3 不同深度架构在关注对象多样语义部件方面的能力有何差异？
• RQ4 所提出的方法是否能在多种图像类别上生成既精确又可解释的摘要？

主要发现

• 该方法成功识别并聚类了AlexNet等网络在分类知更鸟时使用的语义上有意义的部件，如头部、身体、翅膀、腿部和尾部。
• 视觉摘要具有可解释性且普遍易懂，这一点得到了首次同类用户研究的证实。
• GoogleNet生成的视觉摘要比AlexNet更多样，表明其在关注更多样化的语义部件方面具有更优的能力。
• 该框架通过量化网络在分类过程中关注的部件数量和语义连贯性，实现了对网络架构的直接比较。