[论文解读] Non-Lambertian Surface Shape and Reflectance Reconstruction Using Concentric Multi-Spectral Light Field

Mingyuan Zhou, Yu Ji+4 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Vision and Imaging参考文献 41被引用 4

一句话总结

该论文提出了一种同心多光谱光场（CMSLF）系统，可在无需表面先验的情况下实现单次拍摄对非朗伯表面形状和多光谱反射率的恢复。通过在同心环上使用光谱复用的相机与照明系统，该方法利用不同视角下独特的镜面反射变化模式，基于S-Cam表示上的物理模型化双色Phong模型，鲁棒地估计深度并分离漫反射与镜面反射分量，从而在合成与真实场景中实现了亚2°的法向误差和高保真度的反射率重建。

ABSTRACT

Recovering the shape and reflectance of non-Lambertian surfaces remains a challenging problem in computer vision since the view-dependent appearance invalidates traditional photo-consistency constraint. In this paper, we introduce a novel concentric multi-spectral light field (CMSLF) design that is able to recover the shape and reflectance of surfaces with arbitrary material in one shot. Our CMSLF system consists of an array of cameras arranged on concentric circles where each ring captures a specific spectrum. Coupled with a multi-spectral ring light, we are able to sample viewpoint and lighting variations in a single shot via spectral multiplexing. We further show that such concentric camera/light setting results in a unique pattern of specular changes across views that enables robust depth estimation. We formulate a physical-based reflectance model on CMSLF to estimate depth and multi-spectral reflectance map without imposing any surface prior. Extensive synthetic and real experiments show that our method outperforms state-of-the-art light field-based techniques, especially in non-Lambertian scenes.

研究动机与目标

• 解决由于视角依赖的外观导致传统光一致约束失效而带来的非朗伯表面几何与反射率重建挑战。
• 克服现有光场方法在非朗伯场景中依赖表面先验（如光滑性或多项式形状）的局限性。
• 通过新颖的硬件设计，实现在单次拍摄中对任意材料的高精度三维形状与多光谱反射率重建。
• 利用同心相机/光源配置中不同视角下独特的镜面反射变化模式，实现无需先验假设的鲁棒深度估计。

提出的方法

• 设计一种同心多光谱光场（CMSLF）系统，将相机与环形光源布置在同心圆上，每个传感器捕获特定窄带光谱，以实现视角与照明方向的光谱复用。
• 利用表面相机（S-Cam）表示法，建模从场景点返回至捕获光场的角向反射率分布，从而支持基于物理的反射率建模。
• 在S-Cam数据上构建双色Phong反射率模型，通过利用漫反射与镜面反射分量在光谱与角度特性上的差异，实现两者的分离。
• 基于同心结构中不同视角下独特的镜面反射变化模式，启动深度估计，从而实现对镜面高光的鲁棒分离。
• 利用识别出的镜面特征，从所有表面点中去除镜面分量，从而获得无镜面的S-Cam数据，用于联合法向与反射率估计。
• 通过迭代优化无镜面S-Cam数据，提升表面法向与多光谱反射率系数的重建精度。

实验结果

研究问题

• RQ1 同心多光谱光场设计能否实现非朗伯表面形状与反射率的单次拍摄、无先验恢复？
• RQ2 如何利用同心相机配置中不同视角下独特的镜面反射变化模式，实现在非朗伯场景中的鲁棒深度估计？
• RQ3 基于S-Cam表示的物理模型化反射率模型能否在无表面先验条件下有效分离漫反射与镜面分量？
• RQ4 通过窄带滤波实现的光谱复用，在单次采集中在多大程度上能实现无干扰的多视角与多照明方向采样？

主要发现

• 所提出的CMSLF系统在具有任意材质的合成球体场景中实现了亚2°的法向误差，证明了其高几何精度。
• 在复杂场景（如佛像头部与陶瓷器皿）中，该方法的最大法向误差低于3°，表明其对复杂几何结构具有鲁棒性。
• 该算法成功恢复了高频表面细节与光谱反射率图，在非朗伯重建方面优于当前最先进的光场方法。
• 通过窄带滤波实现的光谱复用，可在单次采集中无干扰地采样12个视角与12个照明方向，实现了高效的单次拍摄。
• 同心结构中独特的镜面反射变化模式，使无需表面光滑性或形状先验即可实现可靠的深度估计与镜面分量去除。
• 真实世界实验验证了该方法在塑料与陶瓷等多种材料上的有效性，但在大范围遮挡与阴影区域性能下降，原因在于光谱采样不足。