[论文解读] Occlusion-Aware Video Deblurring with a New Layered Blur Model

Byeongjoo Ahn, Tae Hyun Kim+2 more|arXiv (Cornell University)|Nov 29, 2016

Advanced Image Processing Techniques参考文献 36被引用 3

一句话总结

本文提出了一种遮挡感知的视频去模糊方法，采用一种新颖的分层模糊模型，通过重新排序合成与模糊操作，准确反映物理模糊生成过程。通过采用核截断而非强度衰减来建模遮挡，该方法在物体边界处实现了更优的去模糊性能，相较于先前的分层模型，在合成与真实视频序列中均表现更优。

ABSTRACT

We present a deblurring method for scenes with occluding objects using a carefully designed layered blur model. Layered blur model is frequently used in the motion deblurring problem to handle locally varying blurs, which is caused by object motions or depth variations in a scene. However, conventional models have a limitation in representing the layer interactions occurring at occlusion boundaries. In this paper, we address this limitation in both theoretical and experimental ways, and propose a new layered blur model reflecting actual blur generation process. Based on this model, we develop an occlusion-aware deblurring method that can estimate not only the clear foreground and background, but also the object motion more accurately. We also provide a novel analysis on the blur kernel at object boundaries, which shows the distinctive characteristics of the blur kernel that cannot be captured by conventional blur models. Experimental results on synthetic and real blurred videos demonstrate that the proposed method yields superior results, especially at object boundaries.

研究动机与目标

• 解决传统分层模糊模型在遮挡边界处对图层交互作用表示不足的问题。
• 构建一种生成式模糊模型，准确反映快门开启期间实际的模糊形成过程。
• 实现场景中遮挡物体存在时，清晰前景、背景、运动矢量和 alpha 蒙版的准确估计。
• 提供对物体边界处模糊核特性的理论与实验分析，揭示先前模型所遗漏的特性。

提出的方法

• 提出一种新型分层模糊模型，反转合成与模糊操作的顺序：先对每层单独模糊，再进行合成，以匹配物理模糊生成过程。
• 基于新模型构建似然函数，用于指导潜在图像、运动和 alpha 蒙版估计的优化。
• 使用基于物理的渲染器生成具有受控遮挡和运动的合成训练与评估数据。
• 应用有效的正则化与优化技术，以提升边界重建效果并处理模糊像素混合问题。
• 将遮挡边界处的模糊核建模为截断而非衰减，以反映实际遮挡持续时间。
• 将新模型集成到视频去模糊流程中，联合估计模糊帧的运动、深度与清晰图像。

实验结果

研究问题

• RQ1 传统分层模糊模型为何在遮挡边界处无法正确表示真实的模糊生成过程？
• RQ2 传统模型无法捕捉的物体边界处模糊核具有哪些独特特性？
• RQ3 是否可通过重构为符合物理模糊过程的分层模糊模型，提升遮挡区域的去模糊性能？
• RQ4 所提模型对核截断与强度衰减的不同处理方式，如何影响重建质量？
• RQ5 在复杂遮挡情况下，新模型在多大程度上能恢复准确的运动、分割与清晰图像？

主要发现

• 所提分层模糊模型通过截断模糊核长度而非降低强度来正确表示遮挡，与物理模糊过程一致。
• 该模型揭示了边界处模糊核可能因图层相对速度不同而重叠或分离，这一特性未被先前模型捕捉。
• 实验结果表明，与 [35] 和 [19] 相比，该方法在遮挡边界处的去模糊质量显著提升，尤其在减少振铃伪影方面表现突出。
• 在渲染序列中，即使遮挡物体本身模糊，该方法仍能成功恢复清晰的前景与背景。
• 理论分析证实，Wulff 与 Black [35] 的模型是在背景静止条件下的所提模型的特例。
• 该方法在合成与真实模糊视频上均达到最先进性能，尤其在边界重建与图层分离方面表现卓越。