[论文解读] VommaNet: an End-to-End Network for Disparity Estimation from Reflective and Texture-less Light Field Images

Haoxin Ma, Haotian Li+3 more|arXiv (Cornell University)|Nov 17, 2018

Advanced Vision and Imaging被引用 7

一句话总结

VommaNet 是一种端到端深度学习网络，通过空洞卷积和特征金字塔提取多尺度特征，旨在提升光场图像中反射区域和无纹理区域的视差估计性能。该方法在 HCI 4D 光场基准测试中达到最先进性能，实现对比方法中最低的均方误差（MSE）2.218 × 10⁻²。

ABSTRACT

The precise combination of image sensor and micro-lens array enables lenslet light field cameras to record both angular and spatial information of incoming light, therefore, one can calculate disparity and depth from light field images. In turn, 3D models of the recorded objects can be recovered, which is a great advantage over other imaging system. However, reflective and texture-less areas in light field images have complicated conditions, making it hard to correctly calculate disparity with existing algorithms. To tackle this problem, we introduce a novel end-to-end network VommaNet to retrieve multi-scale features from reflective and texture-less regions for accurate disparity estimation. Meanwhile, our network has achieved similar or better performance in other regions for both synthetic light field images and real-world data compared to the state-of-the-art algorithms. Currently, we achieve the best score for mean squared error (MSE) on HCI 4D Light Field Benchmark.

研究动机与目标

• 为解决现有算法在光场图像中反射与无纹理区域视差估计不准确的挑战。
• 开发一种端到端深度学习模型，确保在普通、反射和无纹理区域均保持高精度。
• 通过多尺度空洞卷积扩展感受野，增强低纹理与高反射区域的特征表示能力。
• 通过深度可分离卷积和批量归一化降低计算成本，同时保持性能。
• 在合成与真实世界光场数据上，性能优于当前最先进方法。

提出的方法

• 网络以所有子孔径图像（SAIs）作为输入，充分挖掘透镜阵列光场相机的角域与空间信息。
• 在早期层中使用多速率空洞卷积构建多尺度特征金字塔，并扩展感受野，以改善反射与无纹理区域的上下文建模。
• 采用深度可分离卷积和批量归一化，降低参数量与计算负载。
• 采用多任务损失函数，结合平均绝对误差（MAE）、梯度损失与法向一致性损失，提升深度图精度与边缘锐度。
• 损失函数定义为：$\text{loss} = \lambda_1 l_{\text{MAE}} + \lambda_2 l_{\text{grad}} + \lambda_3 l_{\text{normal}}$，其中 $\lambda_1 = \lambda_2 = \lambda_3 = 1$。
• 通过翻转、色彩反转与裁剪等数据增强技术提升泛化能力，尤其在训练数据有限的情况下。

实验结果

研究问题

• RQ1 深度学习模型是否能在传统方法失效的光场图像反射与无纹理区域实现鲁棒的视差估计？
• RQ2 如何有效捕捉多尺度上下文特征，以提升低纹理与高反射区域的视差预测性能？
• RQ3 端到端网络是否能在合成与真实世界光场数据上保持或超越当前最先进方法的性能？
• RQ4 输入子孔径图像数量对视差估计精度有何影响？模型能否在不同输入图像数量下保持泛化能力？
• RQ5 多任务损失函数的组合如何提升深度图质量与边缘一致性？

主要发现

• VommaNet 在 HCI 4D 光场基准测试中实现最低的均方误差（MSE）2.218 × 10⁻²，优于 [36]（3.968 × 10⁻²）与 [31]（2.521 × 10⁻²）。
• 在合成数据上，VommaNet 在反射与无纹理区域（如瓶身与椅子腿）生成的视差图显著优于现有方法。
• 在使用 Lytro Illum 相机拍摄的真实光场数据中，VommaNet 在颅骨后部等反射区域保持边缘锐利，生成平滑准确的结果，而其他方法则产生错误值。
• 网络推理时间与 [31]（2.041s）相近，保持在 2.043s，表明在提升精度的同时仍具备高效推理能力。
• 随着输入 SAI 数量增加，性能持续提升，表明模型能有效利用更多角域信息，具备良好的可扩展性。
• 模型存在权衡：尽管在反射与无纹理区域表现优异，但倾向于模糊精细物体细节，导致坏像素指标偏高。