[论文解读] Prediction Model for Semitransparent Watercolor Pigment Mixtures Using Deep Learning with a Dataset of Transmittance and Reflectance

Mei-Yun Chen, Yabo Huang+2 more|arXiv (Cornell University)|Mar 30, 2019

Color Science and Applications参考文献 17被引用 4

一句话总结

本文提出了一种基于深度学习的预测模型，用于半透明水彩颜料混合，采用自建的透射率和反射率测量数据集。通过在13种原色颜料及780种混合物上训练深度神经网络，该模型实现了智能调色板系统，可提供精确的调色配方，使83%的测试案例中ΔE*ab < 5，显著优于传统方法（如直觉判断或伊登色轮）。

ABSTRACT

Learning color mixing is difficult for novice painters. In order to support novice painters in learning color mixing, we propose a prediction model for semitransparent pigment mixtures and use its prediction results to create a Smart Palette system. Such a system is constructed by first building a watercolor dataset with two types of color mixing data, indicated by transmittance and reflectance: incrementation of the same primary pigment and a mixture of two different pigments. Next, we apply the collected data to a deep neural network to train a model for predicting the results of semitransparent pigment mixtures. Finally, we constructed a Smart Palette that provides easily-followable instructions on mixing a target color with two primary pigments in real life: when users pick a pixel, an RGB color, from an image, the system returns its mixing recipe which indicates the two primary pigments being used and their quantities.

研究动机与目标

• 为解决初学者在学习水彩调色时面临的困难，尤其是传统工具（如伊登色轮）提供的指导有限。
• 开发一种数据驱动的预测模型，同时考虑颜料比例和透射率，这对高度透明的介质（如水彩）至关重要。
• 构建一个实用的智能调色板系统，基于目标RGB颜色实时提供精确的调色配方。
• 通过用户实验评估模型性能与真实值的差异，并与传统调色方法进行对比。

提出的方法

• 使用光谱仪（OTO SD1220）采集自建数据集NTU WPSM，测量13种原色颜料在12种用量下及780种双颜料混合物的透射率和反射率。
• 数据集包含两类：数据类型I（同种颜料逐级增加）和数据类型M（两种不同颜料以1:1、1:2和2:1比例混合）。
• 使用TensorFlow实现的深度神经网络（DNN）被训练，以根据输入的颜料类型和用量预测颜料混合物的反射率。
• 训练后的模型生成查找表，实现实时颜色匹配，使智能调色板系统能够为任意目标RGB颜色输出调色配方。
• 通过用户实验评估系统性能，比较使用直觉、伊登色轮和智能调色板的调色准确率，颜色差异使用ΔE*ab进行测量。

实验结果

研究问题

• RQ1 基于透射率和反射率数据，深度学习模型能否准确预测半透明水彩颜料混合物的反射率？
• RQ2 智能调色板系统在颜色匹配准确率方面与传统方法（如直觉判断或伊登色轮）相比表现如何？
• RQ3 与仅考虑颜料比例的模型相比，引入透射率在多大程度上提升了预测准确率？
• RQ4 所提出的数据集和模型能否推广至其他半透明介质（如丙烯颜料或墨水）？

主要发现

• 模型在83%的测试案例中颜色差异（ΔE*ab）低于5，表明预测颜色对普通观察者而言与真实值无法区分。
• 用户评估显示，使用智能调色板相比直觉判断或伊登色轮，颜色匹配准确率有统计学上的显著提升，ΔE*ab值的t检验结果证实了这一点。
• 智能调色板系统生成的调色配方显著更接近目标颜色，优于传统方法，证明了其对初学者的实际应用价值。
• 包含13种颜料及780种混合物的NTU WPSM数据集，其透射率和反射率测量结果已公开，可供未来研究和模型开发使用。
• 跨学科方法——结合光的物理特性、观察者感知（CMF）及设备特定显示因素——实现了跨设备和介质的可迁移颜色匹配。