[论文解读] Understanding deep features with computer-generated imagery

Mathieu Aubry, Bryan Russell|arXiv (Cornell University)|Jun 3, 2015

3D Surveying and Cultural Heritage被引用 34

一句话总结

本文提出一种方法，通过从3D CAD模型生成受控的计算机生成图像（CGI），分析卷积神经网络（CNNs）如何表现场景的连续因子（如视角、风格和颜色）。通过系统性地改变这些因子，并利用因子分解与主成分分析（PCA）分析CNN特征响应，作者量化了不同网络（AlexNet、VGG、Places）及各层中各因子的相对重要性，结果表明高层特征对视角的敏感性逐渐降低，且颜色在Places CNN中比在AlexNet或VGG中起更显著作用。

ABSTRACT

We introduce an approach for analyzing the variation of features generated by convolutional neural networks (CNNs) with respect to scene factors that occur in natural images. Such factors may include object style, 3D viewpoint, color, and scene lighting configuration. Our approach analyzes CNN feature responses corresponding to different scene factors by controlling for them via rendering using a large database of 3D CAD models. The rendered images are presented to a trained CNN and responses for different layers are studied with respect to the input scene factors. We perform a decomposition of the responses based on knowledge of the input scene factors and analyze the resulting components. In particular, we quantify their relative importance in the CNN responses and visualize them using principal component analysis. We show qualitative and quantitative results of our study on three CNNs trained on large image datasets: AlexNet, Places, and Oxford VGG. We observe important differences across the networks and CNN layers for different scene factors and object categories. Finally, we demonstrate that our analysis based on computer-generated imagery translates to the network representation of natural images.

研究动机与目标

• 理解深度CNN如何编码连续的场景因子，如3D视角、物体风格、颜色和光照配置。
• 解决在自然图像数据中隔离并测量单个场景因子对CNN特征影响的挑战。
• 开发一种基于计算机生成图像的系统性分析框架，精确控制场景因子并研究其对CNN表征的影响。
• 比较不同CNN架构（AlexNet、VGG、Places）及各层之间的特征敏感性，揭示表征中的架构与层次差异。
• 证明基于CGI的分析所得见解可有意义地迁移至真实自然图像，支持如2D-3D检索和风格/姿态匹配等应用。

提出的方法

• 利用大规模3D CAD模型数据库（如ModelNet）渲染具有受控场景因子变化的合成图像。
• 在图像渲染过程中，系统性地改变一个或多个因子（视角、风格、颜色、光照），同时固定其他因子。
• 将渲染后的图像输入预训练的CNN（AlexNet、VGG、Places），并从多个层中提取特征响应。
• 基于已知输入因子对特征响应进行因子分解，以量化其对总方差的相对贡献。
• 使用主成分分析（PCA）可视化分解后的分量，以解释特征表征的结构。
• 将自然图像特征（来自ImageNet和ETH-80）投影到从CGI中发现的因子空间，以评估发现结果的可迁移性。

实验结果

研究问题

• RQ1 不同场景因子（如3D视角、物体风格和颜色）如何贡献于CNN特征图中的表征？
• RQ2 CNN特征对这些因子的敏感性在不同网络架构（如AlexNet、VGG、Places）及各层之间如何变化？
• RQ3 从计算机生成图像中学得的特征表征在多大程度上可泛化至真实自然图像？
• RQ4 将CNN特征分解为因子特定分量，能否揭示各层间层次化的不变性或敏感性模式？
• RQ5 基于CGI的分析在多大程度上可支持下游任务，如自然图像中的2D-3D物体检索或风格/姿态匹配？

主要发现

• CNN高层特征可由视角、风格等单因子响应的线性组合良好近似，表明其具有解耦表征特性。
• 对3D视角的敏感性从浅层到深层逐步降低，VGG的fc7层对视角的敏感性低于AlexNet或Places。
• 颜色在Places CNN中的特征方差贡献（背景51.5%，前景40.7%）高于AlexNet或VGG，尤其在高层特征中更为显著。
• 风格对特征方差的相对解释程度在VGG中最高（71.4%），在Places中最低（24.2%），表明不同架构在风格编码上存在差异。
• CGI与自然图像（如ImageNet、ETH-80）的CNN特征PCA嵌入在视觉上高度相似，证实了基于CGI分析的可迁移性。
• 使用pool5特征进行2D-3D检索，在自然图像上实现了20度以内60%的方位准确率，用户研究在风格匹配上达到75%的一致性，验证了该方法的实际相关性。