[论文解读] View Synthesis by Appearance Flow

Tinghui Zhou, Shubham Tulsiani+3 more|arXiv (Cornell University)|May 11, 2016

Advanced Vision and Imaging参考文献 32被引用 26

一句话总结

本文提出了一种新颖的方法，通过学习外观光流（appearance flows）实现新视角合成——即2D坐标向量，指示应从输入图像的何处复制像素以重建新视角。该方法不从零开始生成像素，而是使用卷积神经网络（CNN）预测这些光流，从而实现高保真度、细节保留的合成，其在物体和场景上的感知质量与定量指标上均优于直接像素生成方法。

ABSTRACT

We address the problem of novel view synthesis: given an input image, synthesizing new images of the same object or scene observed from arbitrary viewpoints. We approach this as a learning task but, critically, instead of learning to synthesize pixels from scratch, we learn to copy them from the input image. Our approach exploits the observation that the visual appearance of different views of the same instance is highly correlated, and such correlation could be explicitly learned by training a convolutional neural network (CNN) to predict appearance flows -- 2-D coordinate vectors specifying which pixels in the input view could be used to reconstruct the target view. Furthermore, the proposed framework easily generalizes to multiple input views by learning how to optimally combine single-view predictions. We show that for both objects and scenes, our approach is able to synthesize novel views of higher perceptual quality than previous CNN-based techniques.

研究动机与目标

• 为解决从单张或多张输入图像合成逼真新视角的挑战。
• 相比现有基于学习的方法，提升新视角合成的感知质量并减少模糊现象。
• 在不显式估计3D结构的前提下，通过学习到的外观相关性来保留视觉细节并处理遮挡。
• 通过学习单视角预测的最优融合，实现对多视角输入的泛化。
• 通过从输入视角复制像素，避免生成未见内容的幻觉，实现细节保留的合成。

提出的方法

• 该方法训练一个CNN来预测外观光流场——即目标视角中每个像素在输入图像中的源像素坐标。
• 与直接生成RGB值不同，该模型学习通过学习到的光流场‘复制’像素，从而减少从噪声生成像素的需求。
• 该框架采用编码器-解码器架构并引入跳跃连接，与先前工作类似，但将像素生成替换为光流预测。
• 在多视角合成中，模型通过可微分融合机制学习组合来自多个输入视角的预测结果。
• 网络使用基于L1距离的重建损失进行训练，通过多尺度监督改善梯度流动。
• 对真实图像（如PASCAL VOC）进行预处理，使其输入统计特性与合成训练数据匹配，以提升零样本泛化能力。

实验结果

研究问题

• RQ1 在感知质量方面，外观光流预测是否优于直接像素生成方法在新视角合成中的表现？
• RQ2 基于光流的方法是否能比端到端生成模型更好地保留细节和边缘？
• RQ3 单视角光流网络在匹配训练统计特性的预处理后，能否在PASCAL VOC等真实图像数据集上实现良好泛化？
• RQ4 与单视角光流预测相比，多视角融合是否能提升新视角合成的性能与鲁棒性？
• RQ5 该模型是否能在无显式3D监督的情况下学习长距离外观相关性？

主要发现

• 在场景数据集KITTI的单视角设置下，所提方法的平均L1误差为0.048，显著低于基线方法[1]的0.072。
• 在KITTI的多视角设置下，方法将L1误差降低至0.042，表明额外输入视角可提升性能。
• 在PASCAL VOC上，经预处理使输入统计匹配训练数据后，模型实现了对真实图像的泛化，生成结果比基线[1]更具真实感和细节。
• 视觉对比显示，所提方法在复杂场景中能更好地保留纹理细节和边缘边界。
• 失败案例显示，长距离光流估计可能导致失真，尤其在遮挡区域或高度动态区域。
• 在物体和场景数据集上，该方法在定量（L1误差）和定性（感知质量）评估中均优于基线像素生成方法。