[论文解读] Render for CNN: Viewpoint Estimation in Images Using CNNs Trained with Rendered 3D Model Views

Hao Su, Charles R. Qi+2 more|arXiv (Cornell University)|May 21, 2015

Advanced Neural Network Applications参考文献 29被引用 113

一句话总结

本文提出了一种基于CNN的视角估计框架，利用从3D模型渲染生成的合成图像，以克服视角标注训练数据稀缺的问题。通过在数百万张带有精确视角标签的渲染图像上进行训练，该方法在PASCAL 3D+基准上实现了最先进性能，通过引入几何感知损失和定制化的CNN架构，显著优于以往方法。

ABSTRACT

Object viewpoint estimation from 2D images is an essential task in computer vision. However, two issues hinder its progress: scarcity of training data with viewpoint annotations, and a lack of powerful features. Inspired by the growing availability of 3D models, we propose a framework to address both issues by combining render-based image synthesis and CNNs. We believe that 3D models have the potential in generating a large number of images of high variation, which can be well exploited by deep CNN with a high learning capacity. Towards this goal, we propose a scalable and overfit-resistant image synthesis pipeline, together with a novel CNN specifically tailored for the viewpoint estimation task. Experimentally, we show that the viewpoint estimation from our pipeline can significantly outperform state-of-the-art methods on PASCAL 3D+ benchmark.

研究动机与目标

• 为解决3D物体识别中视角标注训练图像稀缺的问题，该问题限制了模型性能。
• 通过利用深度CNN克服视角估计中缺乏强大、任务特定特征的问题。
• 利用公开的3D模型仓库实现可扩展、低成本的数据合成。
• 设计专门针对细粒度视角分类的CNN架构和损失函数。
• 证明基于3D渲染的合成数据可有效训练出泛化能力强的模型，适用于真实世界图像。

提出的方法

• 通过将3D模型视图叠加到真实图像背景上，生成数百万张训练图像，同时保留物体上下文信息。
• 采用可扩展的图像合成流程，通过变化光照、视角和背景，最大化数据多样性并减少过拟合。
• 提出一种新颖的几何感知损失层，鼓励相邻视角之间具有高相关性，从而提升泛化能力。
• 设计一种针对16视角分类优化的深度CNN架构，包含共享的低层特征提取部分和针对不同类别的分类头。
• 在真实图像与带真实视角标注的合成渲染图像混合数据集上端到端训练网络。
• 将训练好的模型应用于使用现成检测器生成的边界框，对真实图像中的物体视角进行估计。

实验结果

研究问题

• RQ1 能否利用从3D模型生成的合成图像有效训练CNN，以实现对真实图像中3D视角的估计？
• RQ2 几何感知损失函数是否通过建模视角的连续性来提升视角估计的准确性？
• RQ3 合成数据的规模如何影响视角估计模型的性能？
• RQ4 在渲染数据上训练的CNN能否泛化到复杂、杂乱的真实世界场景？
• RQ5 合成数据在多大程度上能减少对昂贵的人工标注视角标签的依赖？

主要发现

• 所提方法在PASCAL 3D+数据集上达到84.2%的16V_tol准确率，显著优于当前最先进方法。
• 使用6,928个3D模型进行数据合成可达到84.2%的16V_tol准确率，而仅使用91个模型时准确率为76.4%，表明数据规模具有显著优势。
• 引入合成背景可提升在杂乱和真实世界数据集（如VOC-easy、VOC-all）上的性能，而干净数据则更受益于干净背景的合成。
• 模型对遮挡和模糊具有鲁棒性，常在模糊视角处呈现双高置信度峰值，有助于下游任务。
• 定性结果表明，系统可通过准确估计物体视角，指导3D模型插入2D图像，实现逼真的3D场景增强。
• 网络学习到了有意义的视角相关性，表现为平滑的置信度分布以及在相似视角上的一致预测。