[论文解读] Towards Interpretable R-CNN by Unfolding Latent Structures

Tianfu Wu, Wei Sun+3 more|arXiv (Cornell University)|Nov 14, 2017

Multimodal Machine Learning Applications参考文献 41被引用 12

一句话总结

该论文通过将分层AND-OR图（AOG）与R-FCN结合，提出了一种可解释的对象检测框架，无需部件级监督即可自动发现并验证对象的潜在部件配置。该方法用AOGParsing算子替代RoIPooling，实时推断最优解析树，生成定性的提取性解释，同时在PASCAL VOC 2007和2012数据集上保持了最先进（SOTA）的检测精度。

ABSTRACT

This paper first proposes a method of formulating model interpretability in visual understanding tasks based on the idea of unfolding latent structures. It then presents a case study in object detection using popular two-stage region-based convolutional network (i.e., R-CNN) detection systems. We focus on weakly-supervised extractive rationale generation, that is learning to unfold latent discriminative part configurations of object instances automatically and simultaneously in detection without using any supervision for part configurations. We utilize a top-down hierarchical and compositional grammar model embedded in a directed acyclic AND-OR Graph (AOG) to explore and unfold the space of latent part configurations of regions of interest (RoIs). We propose an AOGParsing operator to substitute the RoIPooling operator widely used in R-CNN. In detection, a bounding box is interpreted by the best parse tree derived from the AOG on-the-fly, which is treated as the qualitatively extractive rationale generated for interpreting detection. We propose a folding-unfolding method to train the AOG and convolutional networks end-to-end. In experiments, we build on R-FCN and test our method on the PASCAL VOC 2007 and 2012 datasets. We show that the method can unfold promising latent structures without hurting the performance.

研究动机与目标

• 解决在自动驾驶和监控等关键视觉应用中深度学习模型可解释性不足的问题。
• 开发一种无需部件级标注即可自动发现对象判别性部件配置的方法。
• 端到端地将自顶向下的组合式语法模型（AOG）与自底向上的ConvNets结合，以增强模型透明度。
• 通过推理过程中从AOG推导出可解释的解析树，实现弱监督的提取性解释生成。
• 在增加可解释性能力的同时，保持与最先进R-CNN模型相当的检测性能。

提出的方法

• 提出一种基于有向无环AND-OR图（AOG）的自顶向下分层组合语法模型，用于表示区域提议（RoIs）的潜在部件配置。
• 设计AOGParsing算子以替代R-FCN中的标准RoIPooling层，实现实时推断每个RoI的最佳解析树。
• 使用终端节点敏感图计算特征响应，AND节点和OR节点应用SUM、MEAN或逐元素MAX等简单操作。
• 引入折叠-展开训练流程，以端到端方式联合优化AOG结构与卷积特征。
• 构建不同网格尺寸（如3×3、5×5、7×7）和配置的AOG，以探索不同层次的结构复杂度。
• 通过允许终端节点调整其空间位置，将方法扩展至可变形AOG，类似于可变形RoIPooling。

实验结果

研究问题

• RQ1 自顶向下的语法模型能否有效集成到自底向上的ConvNets中，以实现可解释的对象检测？
• RQ2 在两阶段检测框架中，能否在无需任何部件级监督的情况下发现并验证潜在部件配置？
• RQ3 用AOGParsing算子替代RoIPooling是否能在保持检测精度的同时实现提取性解释生成？
• RQ4 与SOTA R-CNN模型（如RFCN-d）相比，基于AOG的方法在标准基准上的性能如何？
• RQ5 能否通过折叠-展开流程实现AOG结构与卷积网络的端到端训练？

主要发现

• 所提方法在PASCAL VOC 2007和2012数据集上的检测性能与最先进模型RFCN-d相当。
• 所有AOG变体（AOG331、AOG551、AOG772）的检测精度均与基线R-FCN相近，证实AOG集成未造成性能下降。
• AOGParsing算子成功为每个检测到的对象推断出最优解析树，提供了可视化潜在部件配置的定性提取性解释。
• 运行时间随AOG大小变化：AOG331约0.25秒/图像，AOG551约1.3秒，AOG772约0.78秒，而RFCN-d约0.36秒，表明推理开销合理。
• 该方法证明了弱监督提取性解释生成的可行性，其中AOG的最佳解析树可作为检测决策的解释依据。
• 消融实验表明，AOG方法是RoIPooling的合理泛化形式，因为RoIPooling是AOGParsing在固定平坦配置下的特例。