[论文解读] Single View Depth Estimation from Examples

Tal Hassner, Ronen Basri|arXiv (Cornell University)|Apr 14, 2013

Advanced Vision and Imaging参考文献 3被引用 17

一句话总结

本文提出了一种非参数化、基于实例的方法，通过利用3D几何数据库从单张图像推断深度。该方法采用硬-EM优化似然函数，将图像块与渲染的示例外观进行匹配，从而在多种物体类别（包括人脸、手部、鱼类和全身人物）上实现精确的深度预测，同时支持动态更新示例并估计被遮挡区域的深度。

ABSTRACT

We describe a non-parametric, "example-based" method for estimating the depth of an object, viewed in a single photo. Our method consults a database of example 3D geometries, searching for those which look similar to the object in the photo. The known depths of the selected database objects act as shape priors which constrain the process of estimating the object's depth. We show how this process can be performed by optimizing a well defined target likelihood function, via a hard-EM procedure. We address the problem of representing the (possibly infinite) variability of viewing conditions with a finite (and often very small) example set, by proposing an on-the-fly example update scheme. We further demonstrate the importance of non-stationarity in avoiding misleading examples when estimating structured shapes. We evaluate our method and present both qualitative as well as quantitative results for challenging object classes. Finally, we show how this same technique may be readily applied to a number of related problems. These include the novel task of estimating the occluded depth of an object's backside and the task of tailoring custom fitting image-maps for input depths.

研究动机与目标

• 通过利用3D示例几何数据库中的形状先验，解决单目深度估计的病态性问题。
• 在不假设特定光照、表面或场景属性的前提下，实现对具有挑战性的物体类别（如手部、有纹理的鱼类、非刚性体）的深度估计。
• 开发一种动态示例更新机制，在重建过程中自适应调整示例集，以应对无限的视角条件。
• 将该方法扩展至相关任务，如估计被遮挡的背面深度，并为输入深度生成定制的图像图。
• 建立基于似然的优化框架，平衡外观一致性与深度合理性。

提出的方法

• 该方法通过将图像块与3D示例几何体的渲染外观进行匹配，在块级别执行深度估计。
• 采用硬-EM过程优化一个明确定义的目标似然函数，以平衡图像外观与已知示例深度之间的关系。
• 在重建过程中动态实时生成新的示例外观，以覆盖未见过的视角条件和姿态。
• 在示例选择过程中引入非平稳性，以避免误导性匹配，并提高对结构化形状的鲁棒性。
• 将多尺度特征（深度、高频分量、YCbCr和相对位置）与学习得到的权重结合，用于外观匹配。
• 通过重用相同的外观-深度映射框架，支持额外应用，如背面深度估计和纹理映射。

实验结果

研究问题

• RQ1 非参数化、基于实例的方法是否能在不假设特定光照、表面或场景属性的前提下，实现精确的单目深度估计？
• RQ2 有限的3D示例集合如何推广至单幅图像中无限的视角条件和新颖的物体姿态？
• RQ3 非平稳性在提升示例选择质量、避免结构化形状的深度歧义方面起到何种作用？
• RQ4 同一框架是否可扩展用于估计被遮挡的深度，并为新型深度输入生成定制的图像图？
• RQ5 该方法在具有挑战性的非刚性及高度纹理化的物体类别（如鱼类和全身人物）上的定量表现如何？

主要发现

• 该方法在包括人脸、手部、鱼类和全身人物在内的多种物体类别上实现了精确的深度估计，且通过定性和定量验证均得到证实。
• 在人体和胸像数据集上，该方法每次使用12张示例图像，200×150图像的运行时间约为7.5分钟（在2.8GHz Pentium 4处理器上）。
• 该方法对纹理和姿态变化具有鲁棒性，成功实现了对具有复杂形状的高纹理鱼类的深度估计。
• 实时示例更新方案显著提升了泛化能力，实现了对先前未见视角条件的覆盖。
• 该方法成功估计了被遮挡背面区域的深度，证明其在标准深度预测之外的实用性。
• 失败案例主要源于数据库图像图中的颜色不匹配（胸像）或异常输入深度（鱼类），表明其对外观不匹配和输入质量较为敏感。