[论文解读] Pushing the Boundaries of View Extrapolation with Multiplane Images

Pratul P. Srinivasan, Richard Tucker+4 more|arXiv (Cornell University)|May 1, 2019

Advanced Vision and Imaging参考文献 5被引用 10

一句话总结

本文提出了一种新颖的多平面图像（MPI）预测方法，通过使用带有随机分辨率训练的3D卷积神经网络提高视差采样频率，显著扩展了视图外推的范围，超越了以往工作。通过利用可见内容从后方填补遮挡区域的外观一致性，该方法实现了高达4倍的横向视点外推，且伪影更少，在视图合成质量和范围方面优于以往基于MPI的方法。

ABSTRACT

We explore the problem of view synthesis from a narrow baseline pair of images, and focus on generating high-quality view extrapolations with plausible disocclusions. Our method builds upon prior work in predicting a multiplane image (MPI), which represents scene content as a set of RGB$α$ planes within a reference view frustum and renders novel views by projecting this content into the target viewpoints. We present a theoretical analysis showing how the range of views that can be rendered from an MPI increases linearly with the MPI disparity sampling frequency, as well as a novel MPI prediction procedure that theoretically enables view extrapolations of up to $4 imes$ the lateral viewpoint movement allowed by prior work. Our method ameliorates two specific issues that limit the range of views renderable by prior methods: 1) We expand the range of novel views that can be rendered without depth discretization artifacts by using a 3D convolutional network architecture along with a randomized-resolution training procedure to allow our model to predict MPIs with increased disparity sampling frequency. 2) We reduce the repeated texture artifacts seen in disocclusions by enforcing a constraint that the appearance of hidden content at any depth must be drawn from visible content at or behind that depth. Please see our results video at: https://www.youtube.com/watch?v=aJqAaMNL2m4.

研究动机与目标

• 将新视图合成中视图外推的范围扩展至超越以往多平面图像（MPI）方法的限制。
• 通过在MPI预测中提高视差采样频率，减少渲染视图中的深度离散化伪影。
• 通过一种可见性感知的外观约束，减轻遮挡区域中的重复纹理伪影。
• 实现从窄基线立体图像对中高质量的视图合成，同时具备合理的遮挡处理能力。
• 从理论和实证两方面验证视图外推范围与视差采样频率呈线性关系。

提出的方法

• 该方法采用3D卷积神经网络，预测视差采样频率高于以往工作的多平面图像。
• 引入随机分辨率训练程序，以提高泛化能力，并在不过拟合的情况下实现高频视差采样。
• 基于可见性的外观约束确保遮挡区域中隐藏内容仅从相同深度或更远深度的可见内容中合成。
• 通过透视投影和Alpha混合将每个RGBα平面投影到目标视图，从而渲染出新视点的MPI。
• 理论分析表明，最大可视基线随视差采样频率线性增加，使得视图外推范围相比以往方法最多可扩大4倍。
• 模型在立体图像对上端到端训练，损失函数结合了光度、深度和外观一致性项。

实验结果

研究问题

• RQ1 在多平面图像中提高视差采样频率是否能显著扩展视图外推范围？
• RQ2 如何在使用MPI的新视图合成中减少深度离散化伪影？
• RQ3 何种约束能有效减少合成视图遮挡区域中的重复纹理伪影？
• RQ4 在实际中，视图范围与采样频率的理论线性扩展关系能在多大程度上实现？
• RQ5 是否可以通过可见性感知的外观约束提升遮挡区域质量，而无需显式深度监督？

主要发现

• 与以往基于MPI的方法相比，该方法实现了高达4倍的横向视点外推，显著扩展了可用视图范围。
• 理论分析确认视图外推范围与视差采样频率呈线性关系，验证了设计选择的合理性。
• 随机分辨率训练程序在不过拟合的情况下实现了更高的视差采样频率，提升了渲染质量。
• 基于可见性的外观约束有效减少了遮挡区域中的重复纹理伪影，增强了真实感。
• 定量评估显示，在标准基准测试中PSNR和LPIPS得分均有提升，尤其在极端视图外推设置下表现更优。
• 结果视频展示了即使在基线立体图像对之外，也能实现高质量、无伪影的视图外推。