[论文解读] Single and Multiple Illuminant Estimation Using Convolutional Neural Networks

Simone Bianco, Claudio Cusano+1 more|arXiv (Cornell University)|Aug 5, 2015

Color Science and Applications被引用 5

一句话总结

该论文提出一种基于CNN的方法，用于在RAW图像中估计单光源和多光源照明条件，当检测到单光源时，通过非线性SVR回归器聚合局部CNN输出。该方法在单光源和多光源数据集上均达到最先进性能，角误差优于现有通用方法，并展现出对非均匀照明的适应能力。

ABSTRACT

In this paper we present a method for the estimation of the color of the illuminant in RAW images. The method includes a Convolutional Neural Network that has been specially designed to produce multiple local estimates. A multiple illuminant detector determines whether or not the local outputs of the network must be aggregated into a single estimate. We evaluated our method on standard datasets with single and multiple illuminants, obtaining lower estimation errors with respect to those obtained by other general purpose methods in the state of the art.

研究动机与目标

• 解决在均匀与非均匀照明条件下实现精确照明估计的挑战。
• 开发一个统一框架，通过端到端学习过程同时处理单光源与多光源照明。
• 通过整合局部特征学习与自适应全局聚合，超越现有通用方法。
• 实现在具有已知真实照明值的真实世界与合成数据集上的鲁棒性能。
• 探索未来通过整合语义线索（如人脸、物体）进一步提升估计精度的可能性。

提出的方法

• 在图像块上训练一个定制CNN，以生成空间变化的局部照明估计，使用240个可学习的1×1卷积滤波器实现色彩空间量化。
• 通过带有RBF核的非线性支持向量回归（SVR）模型，将局部估计聚合为全局估计，该模型在训练集上最小化中位数角误差。
• 基于核密度估计（KDE）的多光源检测器根据局部预测分布决定使用局部估计还是全局估计。
• 网络架构包含具有40个神经元的全连接层，用于学习检测边缘、高光、肤色和植被等语义特征。
• 该方法在带有真实照明值的RAW图像上以监督方式训练，支持端到端的特征学习与回归。
• 该框架设计为自适应：检测照明均匀性，并据此在仅使用局部处理与局部到全局处理之间切换。

实验结果

研究问题

• RQ1 能否有效训练深度CNN，在图像块上为单光源与多光源场景生成可靠的局部照明估计？
• RQ2 当存在单光源时，如何最优地将局部照明估计聚合为全局估计？
• RQ3 基于KDE的检测器能否可靠地区分单光源与多光源场景，依据局部估计分布？
• RQ4 所提方法是否在包含单光源与多光源的标准数据集上优于现有通用照明估计技术？
• RQ5 所学习的语义特征（如高光、肤色、植被）在多大程度上有助于提升照明估计精度？

主要发现

• 在标准单光源数据集上，所提方法的角估计误差低于最先进的一般性方法。
• 在合成多光源数据集上，该方法优于所有现有的一般性局部照明估计技术。
• 在真实世界多光源数据集上，该方法表现具有竞争力，仅被一种显式利用人脸检测的方法超越。
• CNN的全连接层神经元学习到检测有意义的场景元素，如边缘（神经元#8）、高光（神经元#17）、天空（神经元#22）、肤色（神经元#27）和植被（神经元#38）。
• 1×1卷积层在RGB色彩空间中实现近乎均匀的覆盖，相似颜色的滤波器响应具有冗余但稳定的特性。
• 基于非线性SVR的局部到全局回归器相比先前工作中使用的逐通道中位数算子，显著提升了全局估计的准确性。