[论文解读] Recovering 3D Shapes from Ultra-Fast Motion-Blurred Images

Fei Yu, Shudan Guo+4 more|arXiv (Cornell University)|Feb 8, 2026

Advanced Image Processing Techniques被引用 0

一句话总结

本论文提出一种可微分逆渲染框架，配合快速重心坐标求解器，从超快运动模糊图像中恢复三维形状，实现平移和旋转形状的恢复，并在早于方法上展示出优越的结果。

ABSTRACT

We consider the problem of 3D shape recovery from ultra-fast motion-blurred images. While 3D reconstruction from static images has been extensively studied, recovering geometry from extreme motion-blurred images remains challenging. Such scenarios frequently occur in both natural and industrial settings, such as fast-moving objects in sports (e.g., balls) or rotating machinery, where rapid motion distorts object appearance and makes traditional 3D reconstruction techniques like Multi-View Stereo (MVS) ineffective. In this paper, we propose a novel inverse rendering approach for shape recovery from ultra-fast motion-blurred images. While conventional rendering techniques typically synthesize blur by averaging across multiple frames, we identify a major computational bottleneck in the repeated computation of barycentric weights. To address this, we propose a fast barycentric coordinate solver, which significantly reduces computational overhead and achieves a speedup of up to 4.57x, enabling efficient and photorealistic simulation of high-speed motion. Crucially, our method is fully differentiable, allowing gradients to propagate from rendered images to the underlying 3D shape, thereby facilitating shape recovery through inverse rendering. We validate our approach on two representative motion types: rapid translation and rotation. Experimental results demonstrate that our method enables efficient and realistic modeling of ultra-fast moving objects in the forward simulation. Moreover, it successfully recovers 3D shapes from 2D imagery of objects undergoing extreme translational and rotational motion, advancing the boundaries of vision-based 3D reconstruction. Project page: https://maxmilite.github.io/rec-from-ultrafast-blur/

研究动机与目标

• 在传统多视评估在极端运动模糊下失败的情况下，激励三维形状的恢复。
• 将形状恢复从极端运动模糊的情况下表述为逆渲染问题。
• 开发一个快速、可微分的运动模糊渲染器，并具备快速的重心坐标求解器。
• 实现对来自多视角模糊图像的稳健三维形状与外观恢复。
• 在平移与旋转快速运动以及真实世界数据上验证该方法。

提出的方法

• 引入一个快速重心坐标求解器，预计算二次/分母系数以在单次逐帧评估中渲染K帧。
• 通过将运动分解为线性段并对每段平均渲染帧，开发一个可微分的运动模糊渲染器。
• 对前景和背景像素的建模进行分离，对背景像素引入概率性影响项以处理运动模糊。
• 提供通过运动模糊渲染的解析梯度，以实现基于逆渲染的形状优化。
• 应用分段的前向-后向传播来通过最小化图像损失和正则化项来恢复三维形状。

实验结果

研究问题

• RQ1 是否能够从被极端运动（平移和旋转）严重模糊的图像中恢复三维形状？
• RQ2 将快速重心求解器整合到可微分渲染器中，是否能够实现对模糊输入的高效且准确的逆渲染？
• RQ3 所提方法在平移模糊与旋转模糊以及真实世界数据上的表现如何，与现有工作相比如何？
• RQ4 使用已知摄像机/运动参数的逆渲染方法在超快模糊恢复中的优点与局限性是什么？

主要发现

• 所提方法在平移模糊上的三维 IoU 与 PSNR 指标优于现有方法（0.679 IoU vs 0.152；Static PSNR 19.20 vs 11.63；Blurred PSNR 31.89 vs 13.58）。
• 在大网格上实现高效的前向渲染和梯度计算，相较 SoftRas 提速最高达 4.57x，相较 Nvdiffrast 提速 1.23x 的运动模糊合成。
• 可微分、端到端的逆渲染使在平移和旋转场景下对多视角超快模糊图像的三维形状与纹理恢复成为可能。
• 真实世界实验表明，该方法在模糊 PSNR 上达到更高值（24.52 dB），优于先前工作（12.51 dB），并能从运动模糊图像中恢复出合理形状。
• 消融研究表明，与 Nvdiffrast 相比，所提方法具有更快的收敛和更鲁棒的梯度，基于 SoftRas 的基线在速度和准确性方面存在显著提升。