[论文解读] Multispectral Image Intrinsic Decomposition via Low Rank Constraint

Qian Huang, Weixin Zhu+5 more|arXiv (Cornell University)|Feb 24, 2018

Color Science and Applications参考文献 27被引用 4

一句话总结

该论文提出了一种低秩多光谱图像固有分解（LRIID）模型，通过在反射率和光照分量上施加低秩约束，将Retinex理论扩展至多光谱图像，以解决固有分解问题的病态性。该方法直接在图像域中操作，避免对数变换，相较于先前方法实现了更快的计算速度和更高的精度，其有效性在包含12个多光谱图像的新真实值数据集上得到验证。

ABSTRACT

Multispectral images contain many clues of surface characteristics of the objects, thus can be widely used in many computer vision tasks, e.g., recolorization and segmentation. However, due to the complex illumination and the geometry structure of natural scenes, the spectra curves of a same surface can look very different. In this paper, a Low Rank Multispectral Image Intrinsic Decomposition model (LRIID) is presented to decompose the shading and reflectance from a single multispectral image. We extend the Retinex model, which is proposed for RGB image intrinsic decomposition, for multispectral domain. Based on this, a low rank constraint is proposed to reduce the ill-posedness of the problem and make the algorithm solvable. A dataset of 12 images is given with the ground truth of shadings and reflectance, so that the objective evaluations can be conducted. The experiments demonstrate the effectiveness of proposed method.

研究动机与目标

• 解决在一般光照条件下，从单个多光谱图像中分解反射率与光照分量的病态问题。
• 将原本专为RGB设计的Retinex模型扩展至多光谱领域。
• 通过利用反射率和光照图像的低秩先验，减少分解过程中的歧义性。
• 提供一个包含真实反射率与光照标签的基准数据集，以支持多光谱固有分解方法的客观评估。
• 通过直接在图像域中操作，避免对数变换，实现更快、更精确的分解。

提出的方法

• 通过将反射率和光照建模为双线性分量，将Retinex模型扩展至多光谱领域。
• 对反射率和光照矩阵同时施加低秩约束，以减少解的歧义性并强化全局结构。
• 利用孟塞尔颜色图表进行主成分分析（PCA），以推导反射率子空间基。
• 基于光照知识推导光照基，假设光照模式在光谱上具有一致性。
• 通过交替投影和梯度下降法进行初始化，将分解问题建模为凸优化问题求解。
• 直接在图像域中操作，以保持低秩结构，并避免对数变换带来的噪声。

实验结果

研究问题

• RQ1 低秩先验能否有效用于稳定固有病态的多光谱固有分解问题？
• RQ2 将Retinex模型扩展至多光谱数据是否能相比现有基于RGB的方法提升反射率与光照的恢复效果？
• RQ3 与对数域方法相比，直接在图像域中处理在精度和噪声保留方面表现如何？
• RQ4 低秩约束在多大程度上提升了分解质量与计算效率？
• RQ5 新真实值数据集在多大程度上能够支持多光谱固有分解算法的可靠定量评估？

主要发现

• 所提出的LRIID方法将每幅图像的平均计算时间从SIID方法的10.971秒降低至1.739秒，实现了84%的加速。
• 该方法的平均LMSE降低至0.018，低于先前SIID方法的0.024，表明精度有所提升。
• 光谱曲线对比显示，LRIID估计的反射率与真实值高度吻合，证实了其在光谱恢复方面的准确性。
• 低秩约束显著提升了分解质量，通过保留全局结构并减少伪影，在有无约束的视觉对比中表现明显。
• 该方法内存效率高且可扩展，能够处理比以往方法更大尺寸、更多光谱波段的图像。
• 新构建的12个多光谱图像真实值数据集，为可靠定量评估多光谱固有分解算法提供了支持，并有助于未来算法的基准测试。