[论文解读] UnrealStereo: Controlling Hazardous Factors to Analyze Stereo Vision

Yi Zhang, Weichao Qiu+3 more|arXiv (Cornell University)|Dec 14, 2016

Advanced Vision and Imaging参考文献 32被引用 9

一句话总结

本文提出UnrealStereo，一种基于Unreal Engine 4构建的合成数据生成工具，可精确控制虚拟立体场景中的危险因素（如高光、透明度、纹理缺失及细长结构）。通过自动生成危险区域掩码，并在不同强度下对立体算法进行压力测试，作者发现当前最先进方法如MC-CNN和SPS-St在高光和透明表面上表现较差，而具有大感受野区域的全局方法则展现出更强的鲁棒性，该结论在Middlebury和KITTI真实数据集上得到验证。

ABSTRACT

A reliable stereo algorithm is critical for many robotics applications. But textureless and specular regions can easily cause failure by making feature matching difficult. Understanding whether an algorithm is robust to these hazardous regions is important. Although many stereo benchmarks have been developed to evaluate performance, it is hard to quantify the effect of hazardous regions in real images because the location and severity of these regions are unknown. In this paper, we develop a synthetic image generation tool enabling to control hazardous factors, such as making objects more specular or transparent, to produce hazardous regions at different degrees. The densely controlled sampling strategy in virtual worlds enables to effectively stress test stereo algorithms by varying the types and degrees of the hazard. We generate a large synthetic image dataset with automatically computed hazardous regions and analyze algorithms on these regions. The observations from synthetic images are further validated by annotating hazardous regions in real-world datasets Middlebury and KITTI (which gives a sparse sampling of the hazards). Our synthetic image generation tool is based on a game engine Unreal Engine 4 and will be open-source along with the virtual scenes in our experiments. Many publicly available realistic game contents can be used by our tool to provide an enormous resource for development and evaluation of algorithms.

研究动机与目标

• 为解决在高光、纹理缺失等受控危险条件下对立体算法鲁棒性缺乏系统性评估的问题。
• 开发一种可扩展、自动化的合成立体图像生成方法，实现对危险因素的精确控制及对应真实值掩码的生成。
• 通过在Middlebury和KITTI真实数据集上对合成数据发现进行验证，利用稀疏的人工标注危险区域进行对比。
• 使研究人员能够使用可复现的开源平台，系统研究单一危险因素对立体性能的影响。
• 通过使用合成数据进行初步诊断与验证，减少对昂贵真实图像人工标注的依赖。

提出的方法

• 利用Unreal Engine 4渲染具有可控材质属性（如反射率、透明度）的高保真虚拟场景，以模拟危险因素。
• 利用真实值数据（包括物体分割和材质属性）自动生成危险区域掩码，以定义感兴趣区域。
• 在六个虚拟场景中构建密集采样的参数空间，以在多个程度上调节危险因素，包括极端水平。
• 在10,000对合成图像中随机采样484对立体图像，对当前最先进立体算法（如MC-CNN、SPS-St、CoR、DispNetC）进行训练与评估。
• 通过在Middlebury和KITTI数据集上对比算法在人工标注危险区域上的表现，利用相关性分析验证合成数据的发现。
• 将工具、虚拟场景及合成数据集以开源形式发布，以支持未来立体视觉及相关领域的研究。

实验结果

研究问题

• RQ1 增加高光程度如何影响当前最先进立体算法的性能？
• RQ2 透明表面在多大程度上降低立体匹配的准确性？哪些算法最具鲁棒性？
• RQ3 纹理缺失如何影响视差估计？算法性能是否随纹理缺失程度而变化？
• RQ4 具有受控危险因素的合成数据能否可靠预测真实数据集上算法的行为？
• RQ5 具有大感受野区域的全局方法与局部方法相比，在处理危险区域的匹配模糊性时表现如何？

主要发现

• MC-CNN虽在通用立体基准上表现最佳，但在危险区域（尤其是高光和透明区域）表现出显著性能下降。
• SPS-St与CoR在高光和透明区域达到最低误差，表明大感受野区域的全局正则化可提升对匹配模糊性的鲁棒性。
• DispNetC在纹理缺失区域表现最佳，但其性能对纹理缺失程度高度敏感，在极端纹理缺失场景中表现更优。
• 算法在合成数据与真实数据集上的表现具有较高相关性（Middlebury为0.91，KITTI为0.61），验证了合成数据的代表性。
• 合成数据集中危险区域的比例高于KITTI，且KITTI的半密集真实值忽略了大量危险区域（如汽车挡风玻璃），这可能是合成评估中整体误差更高的原因。
• 合成数据生成流程实现了系统化、可重复的立体算法压力测试，且人工标注成本极低，显著降低了真实世界验证的成本。