[论文解读] Synthetic Defocus and Look-Ahead Autofocus for Casual Videography

Xuaner Zhang, Kevin Matzen+4 more|arXiv (Cornell University)|May 15, 2019

Image Processing Techniques and Applications参考文献 61被引用 4

一句话总结

本文提出RVR-LAAF系统，通过从智能手机拍摄的深景深视频中合成可重新对焦的视频，并利用人工智能驱动的未来帧前瞻分析，实现在非专业视频拍摄中的电影级浅景深效果和上下文感知自动对焦。其核心贡献是一种新颖的框架，通过实现前瞻对焦决策克服了实时自动对焦的局限，即使在不可预测的动作下也能实现平滑、精准的主体追踪。

ABSTRACT

In cinema, large camera lenses create beautiful shallow depth of field (DOF), but make focusing difficult and expensive. Accurate cinema focus usually relies on a script and a person to control focus in realtime. Casual videographers often crave cinematic focus, but fail to achieve it. We either sacrifice shallow DOF, as in smartphone videos; or we struggle to deliver accurate focus, as in videos from larger cameras. This paper is about a new approach in the pursuit of cinematic focus for casual videography. We present a system that synthetically renders refocusable video from a deep DOF video shot with a smartphone, and analyzes future video frames to deliver context-aware autofocus for the current frame. To create refocusable video, we extend recent machine learning methods designed for still photography, contributing a new dataset for machine training, a rendering model better suited to cinema focus, and a filtering solution for temporal coherence. To choose focus accurately for each frame, we demonstrate autofocus that looks at upcoming video frames and applies AI-assist modules such as motion, face, audio and saliency detection. We also show that autofocus benefits from machine learning and a large-scale video dataset with focus annotation, where we use our RVR-LAAF GUI to create this sizable dataset efficiently. We deliver, for example, a shallow DOF video where the autofocus transitions onto each person before she begins to speak. This is impossible for conventional camera autofocus because it would require seeing into the future.

研究动机与目标

• 解决非专业视频拍摄中实时相机自动对焦的根本局限，即由于主体运动不可预测且缺乏剧本引导而导致的对焦错误。
• 实现在智能手机视频中的浅景深效果，传统上由于传感器尺寸小且对焦点固定而牺牲了电影级背景虚化效果。
• 通过实现‘前瞻’对焦决策，克服传统自动对焦无法预判关键动作（如人物开始说话）的缺陷。
• 开发一个实用的端到端系统，结合机器学习、基于物理的渲染和时间一致性技术，实现合成可重新对焦视频。
• 证明AI辅助的前瞻自动对焦在对焦准确性和过渡平滑性方面显著优于实时相机系统。

提出的方法

• 使用在包含超过2,000对/组图像对（不同光圈和对焦设置）的新数据集上训练的深度学习模型，生成合成可重新对焦视频。
• 系统采用基于物理的渲染模型，结合预测深度、HDR估计和镜头特定模糊核，以模拟具有电影级背景虚化效果的浅景深。
• 通过一种滤波解决方案强制实现时间一致性，以稳定帧间模糊过渡，减少闪烁和不一致现象。
• 前瞻自动对焦（LAAF）利用AI模块分析未来视频帧中的运动、人脸检测、音频活动和显著性，以预测对焦目标。
• LAAF框架使用GUI（RVR-LAAF）高效标注大规模视频数据集中的对焦转换，用于模型训练。
• 对焦决策基于对未来帧的预测分析，实现在主体说话或行动前即完成对焦切换，这是实时相机自动对焦系统无法实现的。

实验结果

研究问题

• RQ1 能否使用机器学习和基于物理的渲染技术，从智能手机拍摄的深景深视频中可靠地生成合成可重新对焦视频？
• RQ2 未来帧分析能否实现比实时相机系统更准确、更具前瞻性的自动对焦决策？
• RQ3 AI辅助的前瞻自动对焦在追踪动态主体以及在关键叙事动作前实现对焦切换方面有多高效？
• RQ4 时间滤波在多大程度上提升了合成可重新对焦视频中的视觉一致性？
• RQ5 系统能否通过学习的深度图和HDR图模拟电影级背景虚化效果，如变形镜头模糊？

主要发现

• RVR-LAAF系统成功从智能手机拍摄的深景深视频中生成可重新对焦视频，通过学习的深度图和HDR估计显著提升了视觉质量和时间稳定性。
• 前瞻自动对焦可在人物开始说话前即完成对焦切换，这一能力是传统实时自动对焦系统无法实现的。
• 系统通过预判动作并提前切换对焦，在追踪快速移动主体（如足球运动员）时表现出卓越的对焦追踪能力。
• 通过从专业电影摄影镜头中建模镜头特定模糊核，该方法实现了对电影级背景虚化的精确模拟，包括非圆形的失焦模糊。
• 与高端单反相机相比，RVR-LAAF在主体快速切换时的对焦转换准确性更高，经并排视频对比验证。
• 系统通过专用的时间稳定性模块显著减少了失焦模糊的时间闪烁，显著提升了合成视频的视觉一致性。