[论文解读] Rehabilitating the ColorChecker Dataset for Illuminant Estimation

Ghalia Hemrit, Graham D. Finlayson+6 more|arXiv (Cornell University)|May 30, 2018

Color Science and Applications被引用 3

一句话总结

本文识别出广泛使用的ColorChecker数据集在照明估计中存在关键缺陷，包括多个不一致的真值以及计算错误。作者采用Shi和Funt的方法并经验证的代码，提出了一套新的、经更正的‘推荐’真值（REC），表明基于旧真值的算法排名不可靠，且在新标准下往往被完全颠倒，从而为未来基准测试恢复了该数据集的可靠性。

ABSTRACT

In a previous work, it was shown that there is a curious problem with the benchmark ColorChecker dataset for illuminant estimation. To wit, this dataset has at least 3 different sets of ground-truths. Typically, for a single algorithm a single ground-truth is used. But then different algorithms, whose performance is measured with respect to different ground-truths, are compared against each other and then ranked. This makes no sense. We show in this paper that there are also errors in how each ground-truth set was calculated. As a result, all performance rankings based on the ColorChecker dataset - and there are scores of these - are inaccurate. In this paper, we re-generate a new 'recommended' set of ground-truth based on the calculation methodology described by Shi and Funt. We then review the performance evaluation of a range of illuminant estimation algorithms. Compared with the legacy ground-truths, we find that the difference in how algorithms perform can be large, with many local rankings of algorithms being reversed. Finally, we draw the readers attention to our new 'open' data repository which, we hope, will allow the ColorChecker set to be rehabilitated and once again to become a useful benchmark for illuminant estimation algorithms.

研究动机与目标

• 识别并纠正用于照明估计基准ColorChecker数据集的真值照明值中的不一致之处。
• 解决多个冲突的真值集（SFU、Gt1、Gt2）导致的算法性能排名不可靠的问题。
• 基于Shi和Funt的方法，建立一个明确、透明且可复现的ColorChecker数据集真值，纠正先前的计算错误。
• 使用新的推荐真值（REC）重新评估23种照明估计算法的性能，并与旧真值进行比较。
• 推动新REC真值作为未来照明估计研究的标准化基准。

提出的方法

• 使用自定义的开源代码重新实现Shi和Funt真值计算方法，以确保透明性和可复现性。
• 识别并纠正先前真值计算中的具体错误，包括错误的边界框检测以及在白点估计中对消色差补丁选择不一致的问题。
• 基于对Shi和Funt方法的更正应用，为ColorChecker数据集中的568张图像生成新的推荐真值（REC）集合。
• 通过色度分布图和统计分析，将REC真值与现有旧真值（SFU、Gt1、Gt2）进行比较。
• 使用REC真值重新评估23种照明估计算法，并将性能排名与基于SFU和Gt1的排名进行对比。
• 在开放的、社区可访问的代码仓库中托管新的REC真值及其相关代码，以支持持续验证与改进。

实验结果

研究问题

• RQ1 为何在ColorChecker数据集的不同真值上评估时，照明估计算法的性能排名存在显著差异？
• RQ2 旧真值计算中的哪些具体错误导致了不一致且不可靠的算法排名？
• RQ3 与现有真值相比，所提出的推荐真值（REC）在色度分布和一致性方面表现如何？
• RQ4 当使用新的REC真值而非旧真值时，算法排名的变化程度有多大？
• RQ5 所提出的REC真值能否作为未来照明估计研究的稳定、可靠且开放的基准？

主要发现

• 旧真值（SFU、Gt1、Gt2）存在不一致且包含计算错误，包括错误的边界框和在RGB各通道中白点选择不一致的问题。
• 新的推荐真值（REC）与SFU高度一致，但修正了特定异常值，使数据集更加准确和一致。
• 使用Gt1与REC评估时，照明估计算法的性能排名发生根本性差异，Gt1中排名前五的算法在REC中反而处于最差之列。
• 例如，快速傅里叶颜色恒常性（Fast Fourier Color Constancy）和基于CNN的深度颜色恒常性（Deep Color Constancy）在REC中分别位列第1和第6，但在Gt1中则分别排在第15位和第1位，表明训练数据偏差严重影响了性能评估。
• REC与SFU的中位角误差排名几乎完全一致，证实REC是对SFU的可靠更正；而Gt1则产生显著不同且具有误导性的结果。
• 本研究证明，以往基于多个真值的性能评估本质上存在缺陷，而REC真值为ColorChecker数据集提供了首个一致且确定的基准。