[论文解读] Single-Image Lens Flare Removal.

Yicheng Wu, Qiurui He+5 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出了一种新颖的半合成流水线，通过结合经验模拟与波动光学仿真来建模镜头眩光，生成逼真的眩光污染图像。利用该数据，训练神经网络以去除镜头眩光，在最先进的方法基础上实现了3dB的PSNR提升，并在不同设备的真实眩光上表现出良好的泛化能力。

ABSTRACT

Lens flare is a common artifact in photographs occurring when the camera is pointed at a strong light source. It is caused by either multiple reflections within the lens or scattering due to scratches or dust on the lens, and may appear in a wide variety of patterns: halos, streaks, color bleeding, haze, etc. The diversity in its appearance makes flare removal extremely challenging. Existing software methods make strong assumptions about the artifacts' geometry or brightness, and thus only handle a small subset of flares. We take a principled approach to explicitly model the optical causes of flare, which leads to a novel semi-synthetic pipeline for generating flare-corrupted images from both empirical and wave-optics-simulated lens flares. Using the semi-synthetic data generated by this pipeline, we build a neural network to remove lens flare. Experiments show that our model generalizes well to real lens flares captured by different devices, and outperforms start-of-the-art methods by 3dB in PSNR.

研究动机与目标

• 解决由于几何形状、亮度和散射效应导致的镜头眩光外观高度多变所带来的挑战。
• 克服现有方法对眩光几何形状或强度施加强假设的局限性。
• 通过建模内部反射和镜片缺陷等光学成因而实现基于物理原理的镜头眩光模拟。
• 构建一个结合经验测量与波动光学仿真的半合成数据生成流水线，以生成多样化的眩光模式。
• 在该合成数据上训练深度神经网络，以实现对不同设备上真实世界镜头眩光的鲁棒泛化。

提出的方法

• 通过波动光学原理模拟多次反射和散射效应，以建模镜头眩光的光学成因。
• 整合真实镜头系统中的经验测量数据，以校准模拟的眩光特性。
• 构建一个半合成流水线，将真实镜头参数与模拟的眩光模式相结合，用于数据增强。
• 通过改变光源位置、镜片元件和表面缺陷，生成多样化且逼真的眩光污染图像。
• 在半合成数据集上端到端训练卷积神经网络，以预测无眩光图像。
• 利用合成数据的物理真实性，提升对真实眩光的零样本泛化能力。

实验结果

研究问题

• RQ1 半合成数据生成流水线能否准确模拟真实世界镜头眩光模式的多样性？
• RQ2 对镜头眩光物理成因的建模是否能提升基于深度学习的去除方法的泛化能力？
• RQ3 在半合成数据上训练的模型能否有效去除不同设备拍摄的真实镜头眩光？
• RQ4 在不同眩光条件下，所提出方法与现有眩光去除技术相比性能如何？
• RQ5 使用波动光学与经验数据在多大程度上提升了合成训练数据的真实感与有效性？

主要发现

• 所提出的半合成流水线成功生成了与真实世界观测高度一致的逼真镜头眩光模式。
• 在真实眩光去除基准测试中，基于半合成数据训练的神经网络相比最先进方法实现了3dB的PSNR增益。
• 该模型在未进行微调的情况下，对不同相机和镜头拍摄的真实镜头眩光表现出有效的泛化能力。
• 该方法优于依赖几何或强度假设的现有方法，尤其在复杂眩光模式下表现更优。
• 将波动光学与经验数据相结合，显著提升了合成训练数据的真实感与多样性。
• 该方法对眩光类型的变化表现出鲁棒性，包括光晕、条纹和色彩溢出等现象。