[论文解读] Snapshot High Dynamic Range Imaging with a Polarization Camera

Mingyang Xie, Matthew Chan+1 more|arXiv (Cornell University)|Aug 16, 2023

Optical measurement and interference techniquesComputer Science被引用 3

一句话总结

本文提出一种低成本、可逆的方法，通过在镜头前加装线性偏振片，将市售的偏振相机转换为快照式高动态范围（HDR）成像系统，利用偏振角调制同时捕获四张不同曝光的图像。作者提出一种自校准、抗异常值的HDR重建算法，其性能优于最先进的纯软件方法和基于偏振的HDR方法，在偏振片不完美时仍能实现高精度。

ABSTRACT

High dynamic range (HDR) images are important for a range of tasks, from navigation to consumer photography. Accordingly, a host of specialized HDR sensors have been developed, the most successful of which are based on capturing variable per-pixel exposures. In essence, these methods capture an entire exposure bracket sequence at once in a single shot. This paper presents a straightforward but highly effective approach for turning an off-the-shelf polarization camera into a high-performance HDR camera. By placing a linear polarizer in front of the polarization camera, we are able to simultaneously capture four images with varied exposures, which are determined by the orientation of the polarizer. We develop an outlier-robust and self-calibrating algorithm to reconstruct an HDR image (at a single polarity) from these measurements. Finally, we demonstrate the efficacy of our approach with extensive real-world experiments.

研究动机与目标

• 通过最小化对现有偏振相机的硬件修改，实现高动态范围（HDR）成像。
• 通过利用偏振复用实现单次曝光HDR捕获，解决多帧HDR中因运动引起的鬼影问题。
• 开发一种自校准、抗异常值的HDR重建算法，以补偿偏振片不完美和漏光带来的影响。
• 评估偏振片不完美性和高度偏振场景对HDR重建质量的影响。
• 证明该方法在性能上优于现有的纯软件HDR方法和基于偏振相机的HDR技术。

提出的方法

• 在偏振相机镜头前加装线性偏振片，利用偏振片与相机内部偏振网格之间的相对角度，实现四种不同的曝光水平。
• 通过利用偏振片和偏振阵列对透射光强的角依赖性，实现在单次曝光中捕获四张多曝光图像。
• 采用自校准HDR重建算法，通过求解非线性优化问题来估计真实场景辐射度，同时考虑偏振片的消光比和对准误差。
• 算法引入异常值剔除机制，以减轻漏光和偏振片不完美带来的误差，提升在真实环境下的鲁棒性。
• 利用正交偏振态（如0°和90°）之间曝光显著不同的特性，实现动态范围扩展。
• 该方法具有可逆性：移除偏振片后，相机可恢复原始偏振成像能力，适用于反射去除和材料分类等应用。

Figure 1: Single-shot HDR reconstruction using a polarization camera. Our method combines a polarization camera and linear polarizing filter (top left) to capture 4 multi-exposure images simultaneously (top right) and reconstruct HDR images (bottom).

实验结果

研究问题

• RQ1 能否通过最小硬件修改，将标准偏振相机重新用于快照式HDR成像？
• RQ2 线性偏振片的消光比如何影响HDR重建精度和动态范围扩展？
• RQ3 自校准、抗异常值的算法能否在真实世界不完美条件下，有效从多曝光偏振测量中重建HDR图像？
• RQ4 入射光的偏振状态（如镜面反射）如何影响重建HDR图像的质量？
• RQ5 该方法在实际应用中是否优于现有的纯软件HDR和基于偏振相机的HDR重建技术？

主要发现

• 当使用消光比为1:500的偏振片时，角度估计误差仅为2.93%，证明了对真实世界不完美性的强鲁棒性。
• 所提出的HDR重建算法在定量指标和视觉质量上均显著优于最先进的纯软件HDR方法和现有基于偏振相机的HDR技术。
• 当偏振片垂直放置时，系统能有效滤除镜面反射，实现对底层表面（如河床）的清晰成像，而这是标准HDR方法无法实现的。
• 即使入射光高度偏振，该方法仍能保持高动态范围性能，且在不同偏振角度下重建质量保持稳定。
• 该方法具有可逆性和双重用途：同一硬件既可用于HDR成像，也可用于偏振敏感成像，兼具灵活性与成本效益。
• 对于已拥有偏振相机的用户，系统成本低至40美元，远低于专用马赛克HDR传感器超过500美元的成本。

Figure 2: Polarization and color encoding in polarization cameras. Polarization cameras contain a stacked filter grid to encode information about both polarity and color in each pixel. The top-level RGGB Bayer grid encodes color information while the underlying polarizer grid encodes polarity.