[论文解读] Two-Dimensional Non-Line-of-Sight Scene Estimation from a Single Edge Occluder

Sheila W. Seidel, John Murray–Bruce+4 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Optical Sensing Technologies参考文献 36被引用 46

一句话总结

本文提出一个前向模型和两种反演算法，从单个由墙角边缘引发的半遮光照片中重建隐藏场景的二维平面视图，并进行可行性CRB分析。

ABSTRACT

Passive non-line-of-sight imaging methods are often faster and stealthier than their active counterparts, requiring less complex and costly equipment. However, many of these methods exploit motion of an occluder or the hidden scene, or require knowledge or calibration of complicated occluders. The edge of a wall is a known and ubiquitous occluding structure that may be used as an aperture to image the region hidden behind it. Light from around the corner is cast onto the floor forming a fan-like penumbra rather than a sharp shadow. Subtle variations in the penumbra contain a remarkable amount of information about the hidden scene. Previous work has leveraged the vertical nature of the edge to demonstrate 1D (in angle measured around the corner) reconstructions of moving and stationary hidden scenery from as little as a single photograph of the penumbra. In this work, we introduce a second reconstruction dimension: range measured from the edge. We derive a new forward model, accounting for radial falloff, and propose two inversion algorithms to form 2D reconstructions from a single photograph of the penumbra. Performances of both algorithms are demonstrated on experimental data corresponding to several different hidden scene configurations. A Cramer-Rao bound analysis further demonstrates the feasibility (and utility) of the 2D corner camera.

研究动机与目标

• 基于普遍存在的墙边作为光圈，推动被动NLOS成像以成像隐藏场景。
• 通过观测到的半遮光衰减引入距离信息，将先前的1D角度重建扩展到2D。
• 建立一个前向模型，将单张地板照片与隐藏场景的辐射度和深度联系起来。
• 提出并比较两种用于2D平面视图重建的反演算法。
• 提供基于实验验证和CRB可行性分析的基于边缘遮挡的NLOS成像。

提出的方法

• 推导一个前向模型：地板辐射度等于可见贡献与隐藏贡献之和，并将隐藏贡献表示为对角度和距离的积分（方程式1–8）。
• 将隐藏区域离散化为带有每个楔块距离变量的角度楔段，以获得非线性前向模型（方程9）。
• 对单个和多个隐藏目标进行克拉美-rao界分析，以量化在有无边缘遮挡的情况下角度和距离估计的极限（第III节）。
• 提出一种极坐标网格线性化方法，将问题重新表述为 y = A c + (V ∘ D(ρ)) s_h + ε（方程23）。
• 开发一种交替优化方法，先估计高分辨率角度信息，然后再细化每个目标的距离（第四节）。
• 通过结构化的 A 矩阵和稀疏促进的重建，处理环境地板反照率和近/远场照明（方程22及相关讨论）。

实验结果

研究问题

• RQ1 墙边缘是否能够从单张半遮光照片实现对隐藏场景的二维（角度和距离）重建？
• RQ2 相较于无遮挡，边缘遮挡对隐藏目标距离和角度估计的CRB有何影响？
• RQ3 哪些重建策略（极坐标网格线性化与交替角度-距离）能获得准确的二维平面视图？
• RQ4 环境光和地板反照率如何影响二维NLOS重建的可行性和精度？
• RQ5 在边缘遮挡后重建多个隐藏目标时的表现如何？

主要发现

• CRB分析显示角落对角度估计的分辨率提升显著（高出5到7个数量级），距离估计也有较小但仍有意义的提升。
• 边缘遮挡在角-径向空间中使不确定区域呈近圆形到线状，收缩角度不确定性并通过径向衰减分离距离信息。
• 演示了两种重建方法：极坐标网格线性模型和稀疏促进的交替角度/距离方法，二者都能从单张半遮光照片产生二维平面视图重构。
• 实验结果在若干隐藏场景配置和颜色下验证了二维重构的可行性，证实了边缘遮挡的二维NLOS成像的可行性。
• 基于CRB的洞见表明角落相机对二维重构是可行的，尤其在改进角度估计方面，但距离估计更具挑战性，仍然可以实现。