[论文解读] Quaternion Convolutional Neural Networks for Heterogeneous Image Processing

Titouan Parcollet, Mohamed Morchid+1 more|arXiv (Cornell University)|Oct 31, 2018

Neural Networks and Applications参考文献 26被引用 104

一句话总结

本文表明四元数值卷积编码器-解码器（QCAE）能够从单张灰度图像完美学习颜色依赖，并在颜色重建方面优于实值CAE，且参数显著更少。

ABSTRACT

Convolutional neural networks (CNN) have recently achieved state-of-the-art results in various applications. In the case of image recognition, an ideal model has to learn independently of the training data, both local dependencies between the three components (R,G,B) of a pixel, and the global relations describing edges or shapes, making it efficient with small or heterogeneous datasets. Quaternion-valued convolutional neural networks (QCNN) solved this problematic by introducing multidimensional algebra to CNN. This paper proposes to explore the fundamental reason of the success of QCNN over CNN, by investigating the impact of the Hamilton product on a color image reconstruction task performed from a gray-scale only training. By learning independently both internal and external relations and with less parameters than real valued convolutional encoder-decoder (CAE), quaternion convolutional encoder-decoders (QCAE) perfectly reconstructed unseen color images while CAE produced worst and gray-scale versions.

研究动机与目标

• 调查 QCNNs（通过哈密顿乘积）如何提升颜色图像的学习与表示。
• 证明四元数值网络可以从灰度训练中学习内部像素颜色关系（R,G,B）。
• 将四元数值编码-解码器在灰度到彩色重建方面与实值对手进行比较。
• 在异质数据条件下量化重建质量和模型效率（参数）的提升。

提出的方法

• 使用具有相同拓扑的四元数值卷积编码器-解码器（QCAE）和实值卷积编码器-解码器（CAE）。
• 通过从 Kodak PhotoCD 数据集仅用一张灰度图像进行训练，将 QCAE 形成灰度四元数，将 CAE 作为灰度通道来训练。
• 在未见彩色图像上进行验证，通过重建颜色空间并与原始彩色图像比较。
• 使用 PSNR 和 SSIM 指标评估重建，并通过哈密顿积分析内部与外部特征学习。
• 通过实数矩阵表示四元数运算，采用分裂激活函数，并以哈密顿积定义的卷积（Q1 ⊗ Q2）。
• 注明参数效率：QCAE 每层输出多四倍，但总体参数约 6.4k，而 CAE 约 25k。

实验结果

研究问题

• RQ1 四元数网络能否在只有灰度训练时学习 RGB 颜色依赖，而实值网络不能？
• RQ2 哈密顿积是否在异质图像处理中更好地区分内部（像素内）与全局（像素间）依赖？
• RQ3 相较于实值编码-解码器，四元数编码-解码器是否以更少的参数提供更优的重建质量？
• RQ4 PSNR 和 SSIM 指标如何反映 QCAE 相对于 CAE 在灰度到彩色重建任务中的颜色学习能力？

主要发现

• QCAE 可以从灰度训练几乎完美重建彩色图像，而 CAE 输出灰度（黑白）结果。
• QCAE 在两张测试图像上分别达到 PSNR 31.68 dB 和 28.06 dB，而 CAE 的 PSNR 为 29.95 dB 和 27.01 dB。
• QCAE 的 SSIM 分数为 0.96 和 0.93，而 CAE 的分数为 0.87 和 0.86，针对同一测试。
• 由于四元数参数化和哈密顿积，QCAE 大约使用 6.4k 参数，而 CAE 约 25k。
• 结果支持四元表示更有效地分离内部与全局依赖，使在异质数据中实现稳健学习成为可能。