[论文解读] Shadows Shed Light on 3D Objects

Ruoshi Liu, Sachit Menon+4 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种可微分的生成模型，仅通过阴影重建3D物体形状，通过端到端可微分渲染联合推断3D几何形状、物体位姿和光源位置。该方法通过在学习到的潜在空间中优化，结合几何和物理先验，即使在光源和物体位姿未知的情况下，也能生成多样且逼真的3D重建结果，与观测到的阴影保持一致。

ABSTRACT

3D reconstruction is a fundamental problem in computer vision, and the task is especially challenging when the object to reconstruct is partially or fully occluded. We introduce a method that uses the shadows cast by an unobserved object in order to infer the possible 3D volumes behind the occlusion. We create a differentiable image formation model that allows us to jointly infer the 3D shape of an object, its pose, and the position of a light source. Since the approach is end-to-end differentiable, we are able to integrate learned priors of object geometry in order to generate realistic 3D shapes of different object categories. Experiments and visualizations show that the method is able to generate multiple possible solutions that are consistent with the observation of the shadow. Our approach works even when the position of the light source and object pose are both unknown. Our approach is also robust to real-world images where ground-truth shadow mask is unknown.

研究动机与目标

• 解决在物体完全或部分遮挡时，从单视角图像进行3D重建的挑战。
• 利用阴影——通常被忽视为几何线索——作为结构信息的来源，以推断被遮挡的3D物体形状。
• 开发一种端到端可微分框架，从阴影观测中联合优化3D形状、物体位姿和光源位置。
• 将学习到的几何先验和物理合理性整合到重建过程中，以生成逼真且多样的3D假设。
• 实现在真实世界场景中进行鲁棒的3D重建，其中真实阴影掩码未知。

提出的方法

• 构建一种可微分的图像形成模型，模拟在给定光源和相机设置下3D物体如何投射阴影。
• 使用具有高斯潜在先验的可学习占据网络来表示3D形状，从而能够生成多样化的物体假设。
• 对生成模型的潜在码、物体位姿和光源位置进行联合优化，以最小化预测阴影掩码与观测阴影掩码之间的差异。
• 整合关于物体几何形状和相机参数的经验先验，以引导优化过程，生成更逼真的3D重建结果。
• 采用基于梯度的优化方法，高效搜索潜在空间，避免在不确定性下回归到均值。
• 支持已知和未知光源场景，实现从单一阴影观测中进行多假设推理。

实验结果

研究问题

• RQ1 仅靠阴影是否能提供足够的几何约束，以重建被遮挡物体的合理3D形状？
• RQ2 如何利用可微分渲染流水线，从阴影中联合优化3D形状、物体位姿和光源位置？
• RQ3 具有潜在空间的生成模型能否产生与同一阴影一致的多样且逼真的3D重建？
• RQ4 当光源位置未知或模糊时，该方法表现如何？
• RQ5 该模型在具有不完美或未知阴影掩码的真实图像上，其泛化能力如何？

主要发现

• 该方法成功重建了多样化的3D形状（如轿车、卡车和沙发），这些形状均与同一阴影一致，展示了多假设推理能力。
• 潜在空间优化导致正确预测概率单调递增，表明对合理形状的有效探索。
• 即使在手动修改阴影（如添加扶手或改变行李箱高度）的情况下，模型仍能生成准确的重建结果，表明对阴影细节的敏感性。
• 与回归基线相比，该方法通过避免在不确定性下常见的均值回归行为，表现更优。
• 当重建形状缺乏物理稳定性或违反常见物体先验时，模型会出现失败，表明通过更强先验可进一步改进。
• 该方法可泛化至无真实阴影掩码的真实世界图像，显示出在实际场景中的鲁棒性。