[论文解读] Towards Building an RGBD-M Scanner

Zhe Wu, Sai-Kit Yeung+1 more|arXiv (Cornell University)|Mar 12, 2016

3D Surveying and Cultural Heritage参考文献 17被引用 4

一句话总结

本文提出了一款便携式、用户友好的RGBD-M扫描仪，通过改装的Kinect、红外相机和红外LED，捕获三维场景的几何形状与反射特性。通过融合KinectFusion进行重建，并利用一种新型的BRDF分割传播算法，将稀疏、嘈杂的BRDF观测结果聚类，该系统实现了对大型室内场景中材料反射特性的精确估计，实验展示了在真实场景中实现逼真光照效果和高光再现的能力。

ABSTRACT

We present a portable device to capture both shape and reflectance of an indoor scene. Consisting of a Kinect, an IR camera and several IR LEDs, our device allows the user to acquire data in a similar way as he/she scans with a single Kinect. Scene geometry is reconstructed by KinectFusion. To estimate reflectance from incomplete and noisy observations, 3D vertices of the same material are identified by our material segmentation propagation algorithm. Then BRDF observations at these vertices are merged into a more complete and accurate BRDF for the material. Effectiveness of our device is demonstrated by quality results on real-world scenes.

研究动机与目标

• 开发一种便携式、易于使用的设备，用于捕获大型室内场景的三维几何形状与反射特性，克服现有系统对受控环境的依赖以及仅适用于小型可移动物体的局限性。
• 解决在非受控真实环境中，从稀疏、嘈杂且不完整的BRDF观测中准确估计完整且精确BRDF的挑战。
• 仅基于其BRDF观测结果，实现对3D顶点的自动材料分割，即使数据受损或不完整也能有效处理。
• 展示在复杂室内场景中实现基于用户驱动、实时的外观捕获，并具备照片级真实感渲染能力的可行性。

提出的方法

• 系统采用改装的Kinect（ASUS Xtion Pro Live）结合红外相机和多个红外LED，通过自定义电路同步，实现主动红外照明。
• 利用KinectFusion从深度图像实时重建三维场景几何形状，同时通过在红外光照下投影红外图像，估计每个顶点的颜色与反射特性。
• 采用BRDF分割传播算法，基于空间邻近性和BRDF相似性，将相同材质的3D顶点聚类，即使在观测稀疏且嘈杂的情况下也能有效工作。
• 利用从反射对称性推导出的双变量BRDF模型，将来自同一聚类顶点的BRDF观测结果合并为每个材质更完整、更精确的BRDF。
• 对于未分类的顶点，系统分配朗伯氏BRDF模型进行渲染，确保视觉一致性。
• 整个处理流程设计为离线处理，未来工作将致力于实现实时反馈，以指导用户在扫描过程中的操作。

实验结果

研究问题

• RQ1 便携式、低成本设备是否能够在无需受控环境或专用转盘装置的情况下，捕获大型室内场景的三维几何形状与反射特性？
• RQ2 在非受控的真实环境中，如何从稀疏、嘈杂且不完整的观测中准确估计BRDF？
• RQ3 一种材料分割算法是否能够仅基于BRDF观测结果有效聚类3D顶点，即使数据受损或不完整？
• RQ4 所提出的系统在光照重演模拟中，能够在多大程度上再现逼真的光照效果，例如镜面高光？

主要发现

• 系统成功利用KinectFusion实现了三维场景的准确几何重建，数据采集期间达到实时性能。
• BRDF分割传播算法在'Gymball'场景中成功将3D顶点聚类为6个材质组，其中三个最大组分别对应橡胶、墙面和木板等主要材质。
• 系统成功捕获并渲染了在保龄球和棕色塑料壶上的镜面高光，证明了在定向光照下反射特性的准确估计。
• 在'Spiderman'场景中识别出13个材质组，其中8个主要组对应关键场景元素，如南瓜、蜘蛛侠的红蓝区域及支撑结构。
• 由于顶点采样密度不足，系统未能捕获蓝色塑料壶上的高光，表明在稀疏观测下存在局限性。
• 当仅获得部分BRDF数据时，BRDF渲染中出现了圆形失真等重建伪影，凸显了改进插值策略的必要性。