[论文解读] Waterdrop Stereo

Shaodi You, Robby T. Tan+3 more|arXiv (Cornell University)|Apr 4, 2016

Advanced Vision and Imaging参考文献 26被引用 8

一句话总结

本文提出了一种新颖的深度估计方法，利用玻璃表面附着的多个水滴作为天然鱼眼镜头，通过其凸面形状和全内反射特性，实现类似立体视觉的深度感知。通过能量最小化建模水滴几何形状，并应用逆向光线追踪进行图像矫正，该方法可从单张图像实现精确的深度估计与图像重对焦。

ABSTRACT

This paper introduces depth estimation from water drops. The key idea is that a single water drop adhered to window glass is totally transparent and convex, and thus optically acts like a fisheye lens. If we have more than one water drop in a single image, then through each of them we can see the environment with different view points, similar to stereo. To realize this idea, we need to rectify every water drop imagery to make radially distorted planar surfaces look flat. For this rectification, we consider two physical properties of water drops: (1) A static water drop has constant volume, and its geometric convex shape is determined by the balance between the tension force and gravity. This implies that the 3D geometric shape can be obtained by minimizing the overall potential energy, which is the sum of the tension energy and the gravitational potential energy. (2) The imagery inside a water-drop is determined by the water-drop 3D shape and total reflection at the boundary. This total reflection generates a dark band commonly observed in any adherent water drops. Hence, once the 3D shape of water drops are recovered, we can rectify the water drop images through backward raytracing. Subsequently, we can compute depth using stereo. In addition to depth estimation, we can also apply image refocusing. Experiments on real images and a quantitative evaluation show the effectiveness of our proposed method. To our best knowledge, never before have adherent water drops been used to estimate depth.

研究动机与目标

• 探索在玻璃表面附着的水滴作为天然深度感知元件用于立体视觉的可行性。
• 解决利用水滴光学特性从单张图像中提取深度的挑战。
• 开发一种基于水滴形状物理解析的物理建模方法，将径向畸变的水滴图像矫正为平面视图。
• 基于水滴光学特性，开发统一框架以同时实现深度估计与图像重对焦。

提出的方法

• 通过最小化表面张力能与重力势能之和来建模水滴的三维形状，假设体积恒定。
• 利用水-玻璃界面处的全内反射现象识别暗带，以辅助约束三维形状估计。
• 基于恢复的水滴三维几何形状，从矫正后的图像空间向三维世界进行逆向光线追踪。
• 通过基于三维形状反转光路，将每个水滴的畸变图像矫正为平坦且无畸变的平面视图。
• 将每个矫正后的水滴图像视为不同视角，从而实现基于立体视觉的深度计算。
• 通过在矫正后的多视角图像上模拟不同对焦平面，实现图像重对焦。

实验结果

研究问题

• RQ1 玻璃表面附着的水滴是否可作为天然鱼眼镜头，实现从单张图像的深度估计？
• RQ2 如何利用能量最小化等物理原理准确恢复水滴的三维几何形状？
• RQ3 基于恢复形状的逆向光线追踪在多大程度上可有效校正水滴图像中的径向畸变？
• RQ4 能否利用多个水滴作为独立视角，有效实现立体深度估计？
• RQ5 该框架是否可同时支持图像重对焦与深度估计？

主要发现

• 所提方法通过最小化表面张力能与重力势能之和，成功恢复了水滴的三维形状。
• 全内反射产生的暗带被一致观测到，并用于提升形状估计的准确性。
• 逆向光线追踪有效实现了将径向畸变的水滴图像矫正为平面视图。
• 通过将多个水滴作为独立视角，实现了基于立体视觉的深度估计，定量结果验证了其有效性。
• 该方法还可实现图像重对焦，表明其框架在深度估计之外具有高度通用性。
• 真实图像实验验证了该方法的可行性与有效性，且此前无相关工作使用水滴进行深度估计。