[论文解读] Shape from Blur: Recovering Textured 3D Shape and Motion of Fast Moving Objects

Denys Rozumnyi, Martin R. Oswald+2 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出了一种名为形状去模糊（Shape from Blur, SfB）的新方法，能够从单张运动模糊图像中联合重建快速运动物体的纹理化3D形状、运动以及清晰外观。通过在3D空间中建模物体形状、运动与纹理，并利用带正则化的可微渲染进行优化，SfB在去模糊任务中达到最先进水平，同时实现了时间超分辨率与新视角合成，显著优于仅基于2D的方法在基准测试中的表现。

ABSTRACT

We address the novel task of jointly reconstructing the 3D shape, texture, and motion of an object from a single motion-blurred image. While previous approaches address the deblurring problem only in the 2D image domain, our proposed rigorous modeling of all object properties in the 3D domain enables the correct description of arbitrary object motion. This leads to significantly better image decomposition and sharper deblurring results. We model the observed appearance of a motion-blurred object as a combination of the background and a 3D object with constant translation and rotation. Our method minimizes a loss on reconstructing the input image via differentiable rendering with suitable regularizers. This enables estimating the textured 3D mesh of the blurred object with high fidelity. Our method substantially outperforms competing approaches on several benchmarks for fast moving objects deblurring. Qualitative results show that the reconstructed 3D mesh generates high-quality temporal super-resolution and novel views of the deblurred object.

研究动机与目标

• 为解决从单张图像中对快速运动物体（FMOs）进行去模糊的挑战，传统2D去模糊方法无法有效建模复杂的3D运动。
• 联合估计FMOs的3D形状、纹理与运动（包括3D平移与旋转），超越仅基于2D外观的建模。
• 通过恢复物体的清晰纹理化3D网格，实现出色的时间超分辨率与新视角合成。
• 提供一个严谨的基于3D的图像形成模型，其对运动模糊的解释优于2D卷积模型。
• 证明与现有仅基于2D的方法相比，3D建模可实现更优的去模糊效果与重建保真度。

提出的方法

• 该方法将输入图像建模为在曝光期间具有恒定3D平移与旋转的3D物体与背景的可微渲染结果。
• 利用可微渲染器将3D纹理网格投影至2D图像空间，通过最小化渲染图像与输入图像之间的重建损失进行优化。
• 优化过程通过形状、运动与外观的正则化项引导，包括纹理上的总变差正则化与模糊核的稀疏性正则化。
• 采用测试时优化流程，结合学习得到的3D形状原型（如球体、平面）并对其进行形变以匹配观测到的模糊特征。
• 通过端到端优化联合估计物体的初始6-DoF姿态、3D平移、3D旋转与清晰纹理。
• 引入抠像掩码，并使用包含图像重建与几何一致性项的损失函数。

实验结果

研究问题

• RQ1 在单图像去模糊设置中，对形状、运动与纹理进行3D建模是否能带来优于仅基于2D方法的重建与去模糊效果？
• RQ2 结合3D形状形变的可微渲染能否从单张模糊输入生成更清晰、更准确的去模糊图像与时间超分辨率结果？
• RQ3 与2D运动模型相比，建模3D运动（平移与旋转）在恢复物体几何与外观方面有何提升？
• RQ4 在无先验监督或高速相机的情况下，单图像方法在多大程度上能恢复快速运动物体的3D形状与运动？
• RQ5 恢复的3D形状是否能支持新视角合成与高质量视频生成？

主要发现

• SfB在快速运动物体去模糊的基准数据集上达到最先进性能，显著优于通用及FMO专用的2D去模糊方法。
• 该方法实现了高质量的时间超分辨率，能够从单张模糊图像生成任意更高帧率的视频。
• 成功实现了新视角合成，系统能从单张输入图像生成在60°视角范围内保持一致的物体视图。
• 消融实验证明，使用全部损失项、7个原型（含4个干扰项）以及5倍更多的积分步数可提升性能，尽管优化时间相应延长。
• 即使在存在图像噪声与压缩伪影的情况下，由于重投影误差被最小化，方法仍保持稳健性能。
• 该方法是首个从单张运动模糊图像中联合估计3D形状、运动与清晰纹理的方法，在该领域设立了新基准。