[论文解读] Patch Correspondences for Interpreting Pixel-level CNNs

Victor Fragoso, Chunhui Liu+2 more|arXiv (Cornell University)|Nov 29, 2017

Advanced Neural Network Applications参考文献 18被引用 3

一句话总结

本文提出Patch Correspondences方法，通过在训练图像间学习输入与输出特征的块级映射，实现对像素级CNN的解释。借助新颖的HyperPatch-Match算法与跳跃连接，该方法支持输入和输出的重建、语义对应关系的建立以及可控生成——表明CNN通过块级对齐学习到了解耦且可解释的表征。

ABSTRACT

We present compositional nearest neighbors (CompNN), a simple approach to visually interpreting distributed representations learned by a convolutional neural network (CNN) for pixel-level tasks (e.g., image synthesis and segmentation). It does so by reconstructing both a CNN's input and output image by copy-pasting corresponding patches from the training set with similar feature embeddings. To do so efficiently, it makes of a patch-match-based algorithm that exploits the fact that the patch representations learned by a CNN for pixel level tasks vary smoothly. Finally, we show that CompNN can be used to establish semantic correspondences between two images and control properties of the output image by modifying the images contained in the training set. We present qualitative and quantitative experiments for semantic segmentation and image-to-image translation that demonstrate that CompNN is a good tool for interpreting the embeddings learned by pixel-level CNNs.

研究动机与目标

• 通过分析训练数据中局部特征的对应关系，解释像素级CNN。
• 解决Pix2Pix和SegNet等图像到图像翻译网络中可解释性不足的问题。
• 仅利用学习到的块对应关系与训练数据，重建未见过的输入和输出。
• 通过修改训练数据，使用户能够控制图像属性（如颜色、纹理）以实现对生成结果的控制。
• 利用学习到的块特征，可视化并分析查询图像与训练图像之间的语义对应关系。

提出的方法

• 在C++11中提出一种多线程的HyperPatch-Match算法，高效计算块对应关系。
• 使用Eigen库进行线性代数运算，通过Python封装调用OpenCV进行可视化。
• 在编码器-解码器架构中使用跳跃连接，以保留各层间的空间与语义信息。
• 将学习到的块对应关系应用于从特征嵌入中重建输入和输出图像。
• 利用预训练特征（如SegNet和Pix2Pix中的特征）在查询图像与训练图像之间建立语义对应关系。
• 通过修改训练图像，实现对生成输出中属性（如廊柱颜色、窗户纹理、风格）的控制。

实验结果

研究问题

• RQ1 训练图像与输入/输出之间的块级对应关系，是否能揭示像素级CNN中具有意义且可解释的表征？
• RQ2 仅使用块对应关系与训练数据，网络在重建未见过的输入和输出方面表现如何？
• RQ3 学习到的块特征是否能建立查询图像与训练图像之间语义上有意义的对应关系？
• RQ4 用户通过修改训练数据，能在多大程度上控制图像属性（如颜色、纹理）？
• RQ5 编码器与解码器各层在输入与输出重建中分别起到何种不同作用？

主要发现

• 所提方法仅利用块对应关系与训练数据，成功重建了未见过的输入图像，其中早期编码器层捕捉粗略结构，后期解码器层则细化细节。
• 解码器层在生成输出图像的高保真细节方面贡献显著，使重建结果更接近原始网络输出。
• 使用Pix2Pix与SegNet特征的块对应关系，在可视化中清晰显示出查询图像与训练图像之间对语义有意义的关联，如Sky、Building、Road与Sidewalk类别。
• 语义对应关系在不同数据集（Camvid与Cityscapes）间均表现稳健，证明了所学表征的泛化能力。
• 通过修改训练图像，用户可控制输出属性，如廊柱颜色、窗户纹理与建筑风格，从而揭示模型偏差并实现修正。
• 该方法证实跳跃连接有效保留并增强了信息流动，使所有网络阶段均能实现精确重建。