[论文解读] Single-shot ToF sensing with sub-mm precision using conventional CMOS sensors

Manuel Ballester, Heming Wang+3 more|arXiv (Cornell University)|Dec 2, 2022

Advanced Optical Sensing Technologies被引用 4

一句话总结

本文提出一种基于合成波长干涉仪的单次曝光飞行时间（ToF）相机，利用常规CMOS传感器实现亚毫米级深度精度。通过照射多种波长并利用干涉相位解包裹技术，系统可在一次曝光内捕获完整的3D模型，实现对动态及粗糙表面物体的运动鲁棒、高分辨率3D成像，深度精度最高可达330 µm。

ABSTRACT

We present a novel single-shot interferometric ToF camera targeted for precise 3D measurements of dynamic objects. The camera concept is based on Synthetic Wavelength Interferometry, a technique that allows retrieval of depth maps of objects with optically rough surfaces at submillimeter depth precision. In contrast to conventional ToF cameras, our device uses only off-the-shelf CCD/CMOS detectors and works at their native chip resolution (as of today, theoretically up to 20 Mp and beyond). Moreover, we can obtain a full 3D model of the object in single-shot, meaning that no temporal sequence of exposures or temporal illumination modulation (such as amplitude or frequency modulation) is necessary, which makes our camera robust against object motion. In this paper, we introduce the novel camera concept and show first measurements that demonstrate the capabilities of our system. We present 3D measurements of small (cm-sized) objects with > 2 Mp point cloud resolution (the resolution of our used detector) and up to sub-mm depth precision. We also report a "single-shot 3D video" acquisition and a first single-shot "Non-Line-of-Sight" measurement. Our technique has great potential for high-precision applications with dynamic object movement, e.g., in AR/VR, industrial inspection, medical imaging, and imaging through scattering media like fog or human tissue.

研究动机与目标

• 开发一种适用于动态及光学粗糙表面的运动鲁棒、高精度3D成像系统。
• 克服传统ToF相机存在的深度精度低、需时间调制或多次曝光等局限。
• 仅使用市售CMOS传感器实现单次曝光3D重建，无需专用传感器架构。
• 将合成波长干涉仪扩展至单次成像框架下的动态及宏观粗糙表面物体。
• 通过单次曝光干涉式ToF方法，验证非视域（NLoS）成像的可行性。

提出的方法

• 系统使用多个激光波长（λ₁, λ₂, 等）生成合成波长（Λ），以解决干涉测量中相位解包裹的模糊性。
• 利用常规CMOS传感器在原始像素分辨率（最高达20 Mp）下一次性曝光捕获物体光束与参考光束之间的干涉图样。
• 从捕获图像的傅里叶域中提取相位图，并应用合成波长干涉仪技术以消除相位模糊，恢复深度信息。
• 该方法利用多波长干涉技术，解决粗糙表面引起的散斑导致的随机相位波动，使深度精度超越单波长干涉仪的极限。
• 通过计算处理流程，从解包裹的相位图重建完整的3D点云，横向分辨率仅受传感器分辨率和孔径设计限制。
• 系统设计确保参考光束与物体光束之间的光程差最小，从而保证稳定干涉和高精度深度提取。

实验结果

研究问题

• RQ1 合成波长干涉仪能否适配仅使用标准CMOS传感器的单次曝光ToF相机，实现亚毫米级深度精度？
• RQ2 在对动态或光学粗糙表面成像时，系统能否保持高深度精度和运动鲁棒性？
• RQ3 是否可行将单次曝光干涉式ToF方法扩展至非视域（NLoS）成像场景？
• RQ4 系统性能如何随激光波长数量及合成波长设计而变化？
• RQ5 在傅里叶域中，孔径尺寸、视场角与光谱分离之间存在哪些基本权衡？

主要发现

• 系统实现最高达330 µm的深度精度，相比传统ToF相机提升约100倍。
• 相机成功捕获了单次曝光下运动物体的3D视频，证明无需时间调制即可实现运动鲁棒性。
• 系统首次实现了基于合成波长干涉仪的单次曝光非视域（NLoS）测量，将该技术扩展至视域外成像。
• 从单次曝光中重建出分辨率超过2 Mp的完整3D点云，其精度仅受传感器原始分辨率限制。
• 该方法可扩展至三波长或以上，支持多个合成波长，提升单次成像配置下的相位解包裹性能。
• 系统在标准CMOS传感器的约束下运行，无需专用传感器架构或时间复用技术。