[论文解读] VS3R: Robust Full-frame Video Stabilization via Deep 3D Reconstruction

Muhua Zhu, Xinhao Jin+4 more|arXiv (Cornell University)|Mar 6, 2026

Image and Video Stabilization被引用 0

一句话总结

VS3R 将前馈深度3D重建与混合渲染与双流扩散模型结合，实现鲁棒的全帧视频稳定化且不进行大幅裁剪，在鲁棒性和视觉质量方面超过现有方法。

ABSTRACT

Video stabilization aims to mitigate camera shake but faces a fundamental trade-off between geometric robustness and full-frame consistency. While 2D methods suffer from aggressive cropping, 3D techniques are often undermined by fragile optimization pipelines that fail under extreme motions. To bridge this gap, we propose VS3R, a framework that synergizes feed-forward 3D reconstruction with generative video diffusion. Our pipeline jointly estimates camera parameters, depth, and masks to ensure all-scenario reliability, and introduces a Hybrid Stabilized Rendering module that fuses semantic and geometric cues for dynamic consistency. Finally, a Dual-Stream Video Diffusion Model restores disoccluded regions and rectifies artifacts by synergizing structural guidance with semantic anchors. Collectively, VS3R achieves high-fidelity, full-frame stabilization across diverse camera models and significantly outperforms state-of-the-art methods in robustness and visual quality.

研究动机与目标

• 在视频稳定化中平衡几何鲁棒性与全帧内容保留的必要性。
• 提出一个统一的reconstr-Smooth-Refine管线，利用深度3D重建和扩散先验来实现稳定化。
• 通过解决不连贯区域和伪影来实现全帧合成，而不产生裁剪引入的伪影。

提出的方法

• 使用前馈深度重建模型在滑动窗口中估计相机内参/外参、深度和动态掩码。
• 通过高斯滤波平滑相机轨迹以获得稳定路径。
• Hybrid Stabilized Rendering（混合稳定渲染）将语义掩码与几何动态掩码结合，用于动态区域，并对静态/动态点云进行再投影。
• A Dual-Stream Video Diffusion Model 使用时序上下文和固定语义锚点来填充不可见区域并细化帧。

实验结果

研究问题

• RQ1 深度3D重建是否能在实现全帧合成的同时提供对挑战性运动的鲁棒相机姿态和深度估计？
• RQ2 将语义感知与几何动态掩码结合是否能提升渲染中动态区域的稳定性？
• RQ3 基于扩散的全帧细化模型是否能在不产生裁剪伪影的前提下，具备时间一致性地恢复不连续区域？
• RQ4 将重建-平滑-细化与扩散基 restoration 相结合，在质量与计算成本上有哪些权衡？

主要发现

• VS3R 在公开基准上实现了全帧稳定化，内容保真度、几何与时间一致性优于现有方法。
• Hybrid Stabilized Rendering（混合稳定渲染）通过融合语义与几何动态掩码有效抑制伪影。
• Dual-Stream Video Diffusion Model（双流视频扩散模型）在时序一致性和感知质量方面提升不连续区域的恢复效果。
• 定量结果显示在NUS数据集上，VS3R在裁剪、稳定性、ESE、WE和LPIPS方面超越基线，用户研究也确认更偏好的视觉质量。