[论文解读] Varifocal Multiview Images: Capturing and Visual Tasks

Kejun Wu, Qiong Liu+3 more|arXiv (Cornell University)|Nov 19, 2021

Advanced Vision and Imaging参考文献 28被引用 4

一句话总结

本文提出变焦多视角（VFMV）图像，一种新型成像模型，通过在不同焦平面捕捉多个视角，同时实现灵活视场（FoV）与灵活景深（DoF）。通过将每个视角聚焦于不同深度平面，VFMV图像提供更丰富的对焦线索，增强三维场景表现场景。实验表明，VFMV图像可检测2,737个光场特征（多视角图像为1,218个），并实现更高质量的三维重建，证明其在视觉任务中表现更优。

ABSTRACT

Multiview images have flexible field of view (FoV) but inflexible depth of field (DoF). To overcome the limitation of multiview images on visual tasks, in this paper, we present varifocal multiview (VFMV) images with flexible DoF. VFMV images are captured by focusing a scene on distinct depths by varying focal planes, and each view only focused on one single plane.Therefore, VFMV images contain more information in focal dimension than multiview images, and can provide a rich representation for 3D scene by considering both FoV and DoF. The characteristics of VFMV images are useful for visual tasks to achieve high quality scene representation. Two experiments are conducted to validate the advantages of VFMV images in 4D light field feature detection and 3D reconstruction. Experiment results show that VFMV images can detect more light field features and achieve higher reconstruction quality due to informative focus cues. This work demonstrates that VFMV images have definite advantages over multiview images in visual tasks.

研究动机与目标

• 为解决多视角图像虽具有灵活FoV但景深不灵活的局限性，提出一种结合多视角与焦深堆栈优势的新成像模型。
• 通过在多个视角中引入景深（DoF）信息并采用可变焦平面，实现高质量的三维场景表现场景。
• 通过利用不同焦距设置下的丰富对焦线索，提升三维重建与特征检测等视觉任务的性能。
• 通过每视角实现窄景深、整体视角宽FoV，克服传统成像系统中信噪比（SNR）与DoF之间的权衡。

提出的方法

• VFMV图像通过多相机阵列采集，每个视角聚焦于不同焦平面，确保因窄景深而获得高图像质量。
• 系统获取9×9的视角排列，每个视角针对特定深度平面进行优化，实现全场景灵活景深。
• 光场特征检测采用LiFF算法对VFMV与多视角数据进行处理，参数设置为：峰值阈值0.0015、非边缘阈值10、从-1开始的4个八度音程，每八度音程3个层级。
• 三维重建通过运动结构（SfM）方法完成，每组数据使用两组视角，通过SIFT特征匹配估计相机位姿并重建三维点云。
• VFMV采集过程支持按视角动态调整焦平面，实现后期重新对焦与更优的深度表现场景。
• 该方法融合多视角与焦深堆栈原理，构建混合数据模型，支持宽FoV与大DoF。

实验结果

研究问题

• RQ1 与传统多视角图像相比，每个视角具有不同焦平面的变焦多视角图像是否能提升4D光场特征检测的信息丰富度？
• RQ2 在多个焦平面中引入对焦线索是否能提升视觉任务中三维重建的质量？
• RQ3 VFMV图像的灵活景深在多大程度上可减少重建伪影并提升完整性，相较于单焦点多视角图像？
• RQ4 VFMV图像能否通过实现每视角依深度对焦，有效缓解VR/AR中的调节-会聚冲突？

主要发现

• VFMV图像检测到2,737个光场特征，显著高于传统多视角图像的1,218个，表明信息内容更丰富。
• VFMV图像中检测到的特征分布更广泛且空间定位更准确，归因于各视角间存在明确的对焦线索。
• 基于VFMV图像的三维重建生成了更完整、更连贯的三维网格，整体结构更清晰；而多视角重建结果因景深受限而存在不完整现象。
• 尽管存在轻微缺陷，VFMV图像重建的场景质量更高，证明对焦线索能有效提升几何一致性与特征匹配效果。
• 各视角采用不同焦平面显著增强了特征检测与重建的鲁棒性，尤其在深度变化复杂的场景中表现更优。
• 结果证实，VFMV图像在需要高保真三维表现场景的视觉任务中，优于标准多视角图像。