[论文解读] OpenStereo: A Comprehensive Benchmark for Stereo Matching and Strong Baseline

Xianda Guo, Chenming Zhang+6 more|arXiv (Cornell University)|Dec 1, 2023

Advanced Vision and Imaging被引用 6

一句话总结

本文介绍了OpenStereo，一个全面的开源立体匹配基准和代码库，支持超过12种立体匹配模型的训练与推理。它提出了StereoBase，一种简单但极为有效的基线模型，在SceneFlow数据集上实现了新的端到端（EPE）最先进性能，EPE为0.43，通过系统的消融实验和模型设计优化展现出强劲性能。

ABSTRACT

Stereo matching aims to estimate the disparity between matching pixels in a stereo image pair, which is important to robotics, autonomous driving, and other computer vision tasks. Despite the development of numerous impressive methods in recent years, determining the most suitable architecture for practical application remains challenging. Addressing this gap, our paper introduces a comprehensive benchmark focusing on practical applicability rather than solely on individual models for optimized performance. Specifically, we develop a flexible and efficient stereo matching codebase, called OpenStereo. OpenStereo includes training and inference codes of more than 10 network models, making it, to our knowledge, the most complete stereo matching toolbox available. Based on OpenStereo, we conducted experiments and have achieved or surpassed the performance metrics reported in the original paper. Additionally, we conduct an exhaustive analysis and deconstruction of recent developments in stereo matching through comprehensive ablative experiments. These investigations inspired the creation of StereoBase, a strong baseline model. Our StereoBase ranks 1st on SceneFlow, KITTI 2015, 2012 (Reflective) among published methods and achieves the best performance across all metrics. In addition, StereoBase has strong cross-dataset generalization. Code is available at \url{https://github.com/XiandaGuo/OpenStereo}.

研究动机与目标

• 解决在不同架构和数据集之间缺乏统一、可扩展平台以复现和比较立体匹配模型的问题。
• 实现对立体匹配关键组件（如数据增强、主干网络、代价体积设计和损失函数）的系统性消融研究。
• 建立一个简单、高效且可泛化的强大基线模型，其准确率和效率优于现有方法。
• 通过标准化、文档齐全的代码库，促进最先进立体匹配方法的实际部署与公平比较。

提出的方法

• 开发了OpenStereo，一个可扩展、模块化的代码库，支持超过12种立体匹配模型的训练与推理，涵盖编码器-解码器（ED-Conv2D）和代价体积匹配（CVM-Conv3D）架构。
• 实现了全面的数据增强技术集合——RandomCrop和Erase Transform——并通过消融实验优化，以提升模型泛化能力和鲁棒性。
• 设计StereoBase，采用MobileNetV2主干网络在1/4分辨率下进行特征提取，结合混合代价体积设计，包含分组相关性（8通道）与拼接（16通道），实现准确率与效率的平衡。
• 采用Hourglass网络进行代价体积聚合，使用上下文上采样模块进行视差回归，最终通过DRNetRefine进行精细化优化。
• 采用平滑L1损失函数，最大视差设为192，确保端到端学习的稳定与高精度。
• 在SceneFlow数据集上开展广泛的消融实验，以隔离各组件的影响，指导StereoBase的最终设计。

实验结果

研究问题

• RQ1 在立体匹配中，哪些数据增强、主干网络架构、代价体积配置和损失函数的组合最为有效？
• RQ2 不同架构选择（如2D与3D卷积、网络深度）如何影响准确率与推理效率之间的权衡？
• RQ3 通过系统性消融与设计优化，一个简单轻量的模型是否能够实现最先进性能？
• RQ4 现有最先进方法在标准化训练与评估协议下，其性能提升程度如何？

主要发现

• StereoBase在SceneFlow测试集上实现了新的端到端（EPE）最先进性能，EPE为0.43，优于以往报告的结果。
• 消融实验表明，RandomCrop和Erase Transform显著提升了模型在多样化立体匹配场景下的鲁棒性与泛化能力。
• 混合代价体积设计——结合分组相关性和拼接——在计算成本与视差估计准确率之间实现了最优权衡。
• StereoBase优于多个复杂、最先进的模型，证明了架构简洁性与系统性组件优化相结合可带来更优性能。
• OpenStereo平台成功实现了12+种模型的一致且可复现的评估，验证了其作为基准框架的实用性。