[论文解读] Unsupervised Learning for Color Constancy

Nikola Banić, Karlo Koščević+1 more|arXiv (Cornell University)|Dec 1, 2017

Image Enhancement Techniques被引用 5

一句话总结

该论文提出了一种基于无监督学习的色彩恒常性方法，通过聚类从非校准训练图像中近似得到的地面真实光照，估计光照，实现了最先进（SOTA）的准确性，同时避免了人工校准。该方法速度快、适合硬件部署，并通过学习传感器无关的参数实现了跨相机传输，优于基于统计的方法以及许多基于监督学习的方法。

ABSTRACT

Most digital camera pipelines use color constancy methods to reduce the influence of illumination and camera sensor on the colors of scene objects. The highest accuracy of color correction is obtained with learning-based color constancy methods, but they require a significant amount of calibrated training images with known ground-truth illumination. Such calibration is time consuming, preferably done for each sensor individually, and therefore a major bottleneck in acquiring high color constancy accuracy. Statistics-based methods do not require calibrated training images, but they are less accurate. In this paper an unsupervised learning-based method is proposed that learns its parameter values after approximating the unknown ground-truth illumination of the training images, thus avoiding calibration. In terms of accuracy the proposed method outperforms all statistics-based and many learning-based methods. An extension of the method is also proposed, which learns the needed parameters from non-calibrated images taken with one sensor and which can then be successfully applied to images taken with another sensor. This effectively enables inter-camera unsupervised learning for color constancy. Additionally, a new high quality color constancy benchmark dataset with 1707 calibrated images is created, used for testing, and made publicly available. The results are presented and discussed. The source code and the dataset are available at http://www.fer.unizg.hr/ipg/resources/color_constancy/.

研究动机与目标

• 解决基于监督学习的色彩恒常性中人工校准这一主要瓶颈，该过程耗时且依赖传感器。
• 开发一种无监督学习方法，从具有未知地面真实光照的非校准图像中进行学习。
• 实现在不同相机传感器之间无需在已校准数据上重新训练即可迁移所学参数。
• 创建一个高质量、公开可用的基准数据集，用于色彩恒常性评估。

提出的方法

• 结合灰度世界法与白 patch 法，对每张训练图像的地面真实光照进行近似。
• 对近似得到的光照应用聚类（k-means）以识别主导的光照方向。
• 将聚类中心作为新测试图像光照估计的投票候选。
• 采用带修剪的投票机制，从多个候选中选择最一致的光照估计。
• 采用传感器增益归一化，以实现在不同相机传感器之间迁移所学参数。
• 利用图像像素的统计特性推断光照，而无需依赖地面真实标签。

实验结果

研究问题

• RQ1 无监督学习是否能在无需校准训练图像的情况下实现高精度的色彩恒常性？
• RQ2 在一种相机传感器上训练的方法是否可无需重新训练即有效应用于另一种传感器？
• RQ3 对非校准图像中近似光照进行聚类，是否能优于传统基于统计的方法？
• RQ4 与最先进（SOTA）的基于学习和基于统计的色彩恒常性技术相比，所提方法在精度和效率方面表现如何？

主要发现

• 所提方法在标准基准测试中，精度优于所有基于统计的方法以及许多基于监督学习的方法。
• 该方法在训练过程中无需任何地面真实光照标签，从而消除了耗时的校准需求。
• 该方法支持跨相机传输：在一种传感器上学习的参数，经传感器增益归一化后，可成功应用于另一传感器的图像。
• 该方法计算效率高，测试阶段的计算成本与灰度世界法和白 patch 法等快速基于统计的方法相当。
• 该方法对错误或不准确的地面真实数据具有鲁棒性，因其不依赖此类标签。
• 创建并公开发布了一个新的基准数据集 Cube+，包含1707张已校准的线性图像，供未来研究使用。