[论文解读] Video Stitching for Linear Camera Arrays

Wei‐Sheng Lai, Orazio Gallo+4 more|arXiv (Cornell University)|Jul 31, 2019

Advanced Vision and Imaging参考文献 26被引用 6

一句话总结

本文提出一种基于深度学习的线性相机阵列视频拼接方法，通过新颖的推扫式插值层将拼接问题建模为空间视图插值。通过学习密集光流以实现宽基线视图间的平滑对齐，该方法在用户测试中平均获得95.37%的偏好度，显著优于当前最先进的学术与商业解决方案，实现了更优的时间稳定性与伪影抑制。

ABSTRACT

Despite the long history of image and video stitching research, existing academic and commercial solutions still produce strong artifacts. In this work, we propose a wide-baseline video stitching algorithm for linear camera arrays that is temporally stable and tolerant to strong parallax. Our key insight is that stitching can be cast as a problem of learning a smooth spatial interpolation between the input videos. To solve this problem, inspired by pushbroom cameras, we introduce a fast pushbroom interpolation layer and propose a novel pushbroom stitching network, which learns a dense flow field to smoothly align the multiple input videos for spatial interpolation. Our approach outperforms the state-of-the-art by a significant margin, as we show with a user study, and has immediate applications in many areas such as virtual reality, immersive telepresence, autonomous driving, and video surveillance.

研究动机与目标

• 解决线性相机阵列在宽基线视频拼接中持续存在的拼接伪影问题，如鬼影、物体断裂与错位。
• 在不引入逐帧抖动或晃动的情况下，实现时间稳定的拼接，以克服逐帧变形方法的缺陷。
• 通过避免物体在帧间被切割或消失，保持物体完整性，尤其在强视 parallax 情况下。
• 开发一种基于学习的方法，其在视觉质量与鲁棒性方面优于商业软件与先前的学术方法。
• 为虚拟现实、自动驾驶与沉浸式监控等应用实现高质量全景视频生成。

提出的方法

• 将多台相机输入的视频帧投影到统一的圆柱面，以统一几何表示。
• 估计输入视图之间的双向光流，以模拟若由推扫相机拍摄的中间视图。
• 引入一种新颖的推扫式插值层，实现单次遍历、可微分的空间插值，生成最终拼接视图，避免多次变形操作。
• 通过内容损失、感知损失与时间一致性损失的组合，端到端训练网络，以提升图像质量与运动平滑性。
• 网络架构利用深度卷积神经网络学习密集光流场，实现在宽基线下的平滑、内容感知对齐。
• 应用微调以提升对相机标定误差与轻微基线偏移的鲁棒性。

实验结果

研究问题

• RQ1 与现有方法相比，基于学习的方法能否显著减少宽基线视频拼接中的鬼影与错位伪影？
• RQ2 如何在不引入逐帧抖动或晃动的情况下提升视频拼接的时间稳定性？
• RQ3 深度神经网络在全景拼接中能在多大程度上学习保持物体形状，防止物体被切割或消失？
• RQ4 可微分的推扫式插值层能否比多步变形或基于优化的方法更高效地实现高质量视频拼接？
• RQ5 在真实用户感知中，该方法与商业软件及当前最先进的学术方法相比表现如何？

主要发现

• 在用户测试中，该方法获得了95.37%的偏好率，显著优于AutoPano Video（90.74%）、NVIDIA VRWorks（97.22%）与STCPW（98.15%）的成对比较结果。
• 用户主要因更少的物体断裂（84.74%偏好）与更少的鬼影（85.71%偏好）而更偏好该方法，仅有3.88%的比较结果被认为相似。
• 与AutoPano Video与NVIDIA VRWorks等商业工具相比，该方法在强视差动态场景中更有效地减少了鬼影与错位伪影。
• 推扫式插值层实现了高效、单次遍历的中间视图生成，避免了多次双线性变形操作带来的计算负担。
• 模型对相机标定变化保持鲁棒，当侧边相机向内移动至原始基线的62.5%以内时，PSNR下降不足1dB。
• 对网络进行微调可降低基线错位导致的误差，证明其对真实世界标定不准确的适应能力。