[论文解读] Simultaneous Stereo Video Deblurring and Scene Flow Estimation

Liyuan Pan, Yuchao Dai+2 more|arXiv (Cornell University)|Apr 11, 2017

Advanced Image Processing Techniques参考文献 31被引用 5

一句话总结

本文提出了一种联合优化框架，用于同时实现立体视频去模糊与三维场景光流估计，通过分段平面场景假设来提升运动估计与模糊核建模的性能。通过在统一流程中相互增强光流估计与去模糊效果，该方法在真实户外数据集上实现了最先进性能，显著优于以往的单目与立体去模糊方法，尤其在处理复杂运动与深度变化方面表现优异。

ABSTRACT

Videos for outdoor scene often show unpleasant blur effects due to the large relative motion between the camera and the dynamic objects and large depth variations. Existing works typically focus monocular video deblurring. In this paper, we propose a novel approach to deblurring from stereo videos. In particular, we exploit the piece-wise planar assumption about the scene and leverage the scene flow information to deblur the image. Unlike the existing approach [31] which used a pre-computed scene flow, we propose a single framework to jointly estimate the scene flow and deblur the image, where the motion cues from scene flow estimation and blur information could reinforce each other, and produce superior results than the conventional scene flow estimation or stereo deblurring methods. We evaluate our method extensively on two available datasets and achieve significant improvement in flow estimation and removing the blur effect over the state-of-the-art methods.

研究动机与目标

• 解决由相机运动、运动物体和深度变化引起的户外立体视频序列中的运动模糊问题。
• 克服现有方法将去模糊与场景光流估计视为独立任务所导致的误差传播问题。
• 开发一种统一框架，通过共享的运动与结构线索，使场景光流估计与图像去模糊相互促进。
• 利用分段平面假设对空间变化的模糊核进行建模，提升复杂动态场景中的建模精度。
• 在真实世界户外数据集上展示优越性能，尤其在大运动与深度变化区域表现突出。

提出的方法

• 构建联合优化框架，同时从模糊立体视频中估计三维场景光流并恢复潜在清晰图像。
• 引入分段平面假设，即同一超像素内的像素共享单一单应性变换，从而实现对光流与模糊核的结构化建模。
• 利用来自场景光流的运动线索对模糊核进行空间变化建模，实现对复杂运动模糊的精确表示。
• 框架整合了去模糊与场景光流的数据保真项，以及平滑性与一致性正则化项。
• 采用多尺度优化策略，在多个迭代中交替最小化潜在图像、场景光流与模糊核。
• 方法在 MATLAB 框架中采用 C++ 加速实现，单个 i7 处理器上每场景处理六幅图像约需 40 分钟。

实验结果

研究问题

• RQ1 联合优化立体去模糊与场景光流估计是否能优于顺序或独立处理的方法？
• RQ2 引入分段平面场景假设在多大程度上提升了动态场景中模糊核估计与运动光流的准确性？
• RQ3 使用清晰图像估计在模糊存在的情况下，能在多大程度上增强场景光流估计的鲁棒性？
• RQ4 在具有大运动与深度变化的真实户外数据集上，该方法与最先进单目与立体去模糊方法相比表现如何？
• RQ5 去模糊与场景光流估计之间的相互增强是否在 PSNR 与光流误差指标上带来可测量的性能提升？

主要发现

• 在 Blurred KITTI 数据集上，该方法在三帧输入下达到 30.71 dB 的 PSNR，显著优于 Sellent 等人 [31]（28.52 dB）与 Kim 和 Lee [16]（29.00 dB）。
• 在 'Chair' 序列上，该方法将场景光流误差降低 1.18%，PSNR 达到 23.26 dB，优于 Sellent 等人 [31] 的 23.07 dB。
• 在 KITTI 数据集三帧平均模糊条件下，该方法达到 23.89 dB 的 PSNR，超过 Kim 和 Lee [16]（23.21 dB）与 Sellent 等人 [31]（23.31 dB）。
• 核密度估计显示，该方法具有更重尾的 PSNR 分布，表明在具有挑战性的序列上表现更一致。
• 在 50 个具有挑战性的序列中，该方法在首次与最后一次迭代之间 PSNR 提升 0.3 dB，证实了迭代联合优化的有效性。
• 视觉结果表明，该方法在大运动区域中实现了更优的去模糊与光流估计效果，尤其在包含快速移动物体与相机运动的复杂户外场景中表现突出。