[论文解读] Understanding Deformable Alignment in Video Super-Resolution

Kelvin C. K. Chan, Xintao Wang+3 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Vision and Imaging被引用 17

一句话总结

本文揭示了视频超分中的可变形卷积通过结合空间扭曲与卷积，实现隐式的特征对齐，其核心公式与基于光流的对齐方法一致，但能实现更高的偏移多样性。作者提出一种偏移保真度损失，约束学习到的偏移与光流对齐，从而稳定训练并提升对齐精度，显著减少扭曲误差与遮挡效应，带来视频超分中的PSNR显著提升。

ABSTRACT

Deformable convolution, originally proposed for the adaptation to geometric variations of objects, has recently shown compelling performance in aligning multiple frames and is increasingly adopted for video super-resolution. Despite its remarkable performance, its underlying mechanism for alignment remains unclear. In this study, we carefully investigate the relation between deformable alignment and the classic flow-based alignment. We show that deformable convolution can be decomposed into a combination of spatial warping and convolution. This decomposition reveals the commonality of deformable alignment and flow-based alignment in formulation, but with a key difference in their offset diversity. We further demonstrate through experiments that the increased diversity in deformable alignment yields better-aligned features, and hence significantly improves the quality of video super-resolution output. Based on our observations, we propose an offset-fidelity loss that guides the offset learning with optical flow. Experiments show that our loss successfully avoids the overflow of offsets and alleviates the instability problem of deformable alignment. Aside from the contributions to deformable alignment, our formulation inspires a more flexible approach to introduce offset diversity to flow-based alignment, improving its performance.

研究动机与目标

• 理解可变形卷积在视频超分对齐中的底层机制。
• 正式建立可变形对齐与基于光流对齐之间的关系。
• 探究偏移多样性在提升对齐精度与超分质量中的作用。
• 解决可变形对齐训练中的不稳定性问题，特别是偏移溢出问题。
• 提出一种新颖的偏移保真度损失，利用光流稳定并改进可变形对齐。

提出的方法

• 将可变形对齐分解为特征级空间扭曲与标准卷积的组合，揭示其与基于光流对齐的正式等价性。
• 该方法表明，可变形卷积在每个特征位置引入多个偏移（与卷积核大小成比例），相比仅使用单一偏移的基于光流方法，显著提升了偏移多样性。
• 提出偏移保真度损失，将学习到的偏移约束在光流预测值的阈值范围内，防止溢出并稳定训练过程。
• 该公式允许通过解耦偏移数量与卷积核大小，灵活地将偏移多样性引入基于光流的对齐方法中。
• 在EDVR（当前最先进的视频超分模型）上进行评估，使用REDS4基准数据集的PSNR指标与定性对比进行验证。
• 使用调制掩码对不同偏移的贡献进行加权，掩码值越低，表示远离光流的偏移越不重要。

实验结果

研究问题

• RQ1 在视频超分中，可变形对齐与基于光流对齐在形式上如何关联？
• RQ2 偏移多样性在提升对齐精度与超分性能中起什么作用？
• RQ3 尽管两者具有相同的底层公式，为何可变形对齐仍优于基于光流的对齐？
• RQ4 如何缓解可变形对齐训练中的不稳定性问题，特别是偏移溢出？
• RQ5 能否利用光流来引导并稳定可变形卷积偏移的学习？

主要发现

• 可变形对齐在数学上等价于空间扭曲与卷积的组合，其核心公式与基于光流的对齐方法完全一致。
• 关键区别在于偏移多样性：可变形对齐在每个位置使用多个偏移（与卷积核大小成比例），而基于光流的对齐仅使用一个，因此在遮挡与运动误差下更具鲁棒性。
• 所提出的偏移保真度损失能有效防止训练过程中的偏移溢出，稳定网络训练，避免退化为单图超分模型。
• 在引入偏移保真度损失后，EDVR性能显著提升，尤其在高速运动区域（如移动的汽车轮子）细节恢复方面表现更优。
• 当偏移数量增加时，越来越多的调制掩码取值较小（≈0），表明大量偏移变得冗余，且PSNR增益在某一阈值后趋于饱和。
• 本研究证明，偏移多样性是可变形对齐性能优越的主要原因，而非仅因优化策略不同。