[论文解读] Transformable Bottleneck Networks

Kyle Olszewski, Sergey Tulyakov+3 more|arXiv (Cornell University)|Apr 13, 2019

Advanced Vision and Imaging参考文献 46被引用 8

一句话总结

本文提出可变换瓶颈网络（TBNs），一种新颖的CNN架构，在编码器-瓶颈-解码器框架中直接对3D体积瓶颈应用空间变换。通过多视角监督，TBNs学习到空间解耦的特征，从而实现超越刚性训练变换的任意3D操作（如非均匀缩放和非刚性形变），在新视角合成方面达到最先进性能，并实现从单张图像的高保真3D重建。

ABSTRACT

We propose a novel approach to performing fine-grained 3D manipulation of image content via a convolutional neural network, which we call the Transformable Bottleneck Network (TBN). It applies given spatial transformations directly to a volumetric bottleneck within our encoder-bottleneck-decoder architecture. Multi-view supervision encourages the network to learn to spatially disentangle the feature space within the bottleneck. The resulting spatial structure can be manipulated with arbitrary spatial transformations. We demonstrate the efficacy of TBNs for novel view synthesis, achieving state-of-the-art results on a challenging benchmark. We demonstrate that the bottlenecks produced by networks trained for this task contain meaningful spatial structure that allows us to intuitively perform a variety of image manipulations in 3D, well beyond the rigid transformations seen during training. These manipulations include non-uniform scaling, non-rigid warping, and combining content from different images. Finally, we extract explicit 3D structure from the bottleneck, performing impressive 3D reconstruction from a single input image.

研究动机与目标

• 通过深度学习实现对图像内容的细粒度、可控3D操作。
• 在无显式3D监督的情况下，从多视角监督中学习空间解耦的3D特征表示。
• 仅使用2D图像输入，在新视角合成任务中实现最先进性能。
• 利用学习到的瓶颈特征从单张图像中提取有意义的3D几何结构。
• 实现超越训练期间使用的刚性变换的直观非刚性3D图像操作。

提出的方法

• 网络采用编码器-瓶颈-解码器架构，直接在3D瓶颈体积上应用空间变换。
• 多视角监督促使网络在瓶颈特征空间中学习到空间解耦。
• 在推理时对瓶颈应用空间变换（如旋转、缩放、形变），以实现多样化的3D操作。
• 可将多张图像的瓶颈变换到统一坐标系并聚合，以获得更优表示。
• 仅基于图像分割训练一个简单的体素占据分类器，从瓶颈中提取3D结构，无需3D监督。
• 通过重新编码从瓶颈生成的合成新视角，进一步提升高质量3D重建效果。

实验结果

研究问题

• RQ1 CNN能否在无显式3D监督的情况下，从多视角2D图像中学习到空间解耦的3D特征表示？
• RQ2 能否对学习到的瓶颈应用任意非刚性3D变换，以实现创意性图像操作？
• RQ3 仅在刚性视角变化下训练的网络，能否在推理时泛化到非刚性操作？
• RQ4 能否仅使用瓶颈表示从单张图像中实现高质量3D重建？
• RQ5 瓶颈表示能否同时支持SOTA的新视角合成与交互式3D编辑？

主要发现

• TBNs在新视角合成任务中达到SOTA性能，在ShapeNet数据集上L1和SSIM指标均优于先前方法。
• 瓶颈特征表现出有意义的空间结构，支持直观且多样的3D操作，如非均匀缩放、扭转以及来自不同图像的部件拼接。
• 非刚性形变（包括局部形变和膨胀）可从任意视角生成合理且一致的3D渲染结果。
• 仅基于图像分割训练的体素占据分类器成功从瓶颈中提取3D几何结构，实现无需3D标注的单图像3D重建。
• 完整的TBN流程支持交互式、实时的3D对象操作与合成，可将3D对象高保真地融入真实世界场景。
• 该方法具有良好的泛化能力：仅在刚性变换下训练的网络，也可在推理时应用任意非刚性3D变换。