[论文解读] X-Fields: Implicit Neural View-, Light- and Time-Image Interpolation

Mojtaba Bemana, Karol Myszkowski+2 more|arXiv (Cornell University)|Oct 1, 2020

Advanced Vision and Imaging参考文献 65被引用 12

一句话总结

本文提出 X-Fields，一种神经隐式表示方法，通过可微分、具备几何感知能力的神经网络，联合插值 2D 图像序列中的视角、时间与光照。通过学习图像坐标系的可学习雅可比矩阵来建模像素运动，实现了在极短训练时间（数分钟）和紧凑存储下的实时、高保真渲染（20 Hz），在复杂光传输与细节重建方面优于当前最先进方法。

ABSTRACT

We suggest to represent an X-Field -a set of 2D images taken across different view, time or illumination conditions, i.e., video, light field, reflectance fields or combinations thereof-by learning a neural network (NN) to map their view, time or light coordinates to 2D images. Executing this NN at new coordinates results in joint view, time or light interpolation. The key idea to make this workable is a NN that already knows the "basic tricks" of graphics (lighting, 3D projection, occlusion) in a hard-coded and differentiable form. The NN represents the input to that rendering as an implicit map, that for any view, time, or light coordinate and for any pixel can quantify how it will move if view, time or light coordinates change (Jacobian of pixel position with respect to view, time, illumination, etc.). Our X-Field representation is trained for one scene within minutes, leading to a compact set of trainable parameters and hence real-time navigation in view, time and illumination.

研究动机与目标

• 在无需密集采样的前提下，实现 2D 图像序列中视角、时间与光照的高质量、实时插值。
• 解决视频、光场与反射场中高维采样（如 5D）带来的指数级存储与处理负担。
• 开发一种紧凑的、场景特定的神经表示，利用可微分渲染先验，在视角、时间与光照参数间实现泛化。
• 通过具备几何感知能力、一致性驱动的网络架构，克服遮挡、视域外区域及复杂光传输（如阴影、反射）的挑战。
• 在极短的单场景训练时间（低于 20 分钟）下，实现交互帧率（20 Hz）与高分辨率输出（1024×1024）。

提出的方法

• 该方法将 X-Field 表示为一个神经网络，将 5D 坐标 (x, y, t, α, β) —— 对应空间位置、时间与光照 —— 映射到像素颜色，从而实现可学习的 getPixel 函数。
• 关键创新在于集成了一条硬编码的、可微分的渲染流水线，用于建模 3D 投影、光照与遮挡，使网络能够隐式学习图像形成的物理规律。
• 网络计算像素位置对视角、时间与光照坐标的雅可比矩阵，使其能够预测坐标变化下像素的运动，这对处理视域外区域与遮挡至关重要。
• 该模型采用基于形变的策略，并结合一致性加权，以在不同视角间保持几何一致性，减少由不一致或模糊对应关系引起的伪影。
• 该架构结合了可学习的场景表示与可微分的图像形成模型，其中网络通过推理空间与时间变换来预测图像颜色，而非直接回归。
• 训练在稀疏、非规则采样的图像集合上端到端进行，网络被优化以重建观测到的图像，并泛化至未观测的坐标。

实验结果

研究问题

• RQ1 单一神经网络能否在统一的隐式表示中有效实现 2D 图像序列在视角、时间与光照上的插值？
• RQ2 如何设计神经网络结构，使其在不依赖显式 3D 几何的前提下，隐式学习复杂的光传输效应（如阴影、反射、焦散）？
• RQ3 可微分、具备几何感知能力的渲染先验在多大程度上能提升插值质量，并减少视域外区域与遮挡区域的伪影？
• RQ4 该表示能否在极短的单场景训练时间下实现实时推理（20 Hz）与高分辨率输出（1024×1024）？
• RQ5 在具有动态光照与运动的复杂场景中，该方法相较于经典插值技术与当前最先进深度学习基线的表现如何？

主要发现

• X-Field 方法在 1024×1024 分辨率图像下实现了约 20 Hz 的实时推理，支持对动态场景进行交互式 VR 探索。
• 该模型在复杂光传输现象（如软阴影、全局光照、反射与焦散）上泛化能力出色，优于经典方法与深度学习基线。
• 通过建模像素位置的雅可比矩阵，该方法有效处理了视域外区域与遮挡问题，显著减少了标准形变方法中常见的“橡皮布”拉伸伪影。
• 即使输入数据极度稀疏（如仅需十几张图像），该方法仍能实现高质量插值，且存储开销极低（仅比图像数据多几 KB）。
• 消融实验表明，一致性加权与可微分渲染先验的引入显著提升了重建质量，尤其在复杂运动与遮挡区域表现更优。
• 当结合一致性加权时，该方法对随机变化（如泡沫、噪声）具有鲁棒性，能有效抑制不同视角间不一致特征的影响。