[论文解读] Self-supervised Hyperspectral Image Restoration using Separable Image Prior

Ryuji Imamura, Tatsuki Itasaka+1 more|arXiv (Cornell University)|Jul 1, 2019

Image and Signal Denoising Methods参考文献 34被引用 6

一句话总结

该论文提出了一种基于可分离卷积神经网络的自监督深度学习方法，用于高光谱图像（HSI）复原。该方法通过从单个退化输入中生成合成噪声，实现在无干净参考图像情况下的训练，实现了在多种噪声类型（包括高斯噪声、脉冲噪声和条纹缺陷）下的最先进性能，混合噪声场景下PSNR提升最高达39.29 dB。

ABSTRACT

Supervised learning with a convolutional neural network is recognized as a powerful means of image restoration. However, most such methods have been designed for application to grayscale and/or color images; therefore, they have limited success when applied to hyperspectral image restoration. This is partially owing to large datasets being difficult to collect, and also the heavy computational load associated with the restoration of an image with many spectral bands. To address this difficulty, we propose a novel self-supervised learning strategy for application to hyperspectral image restoration. Our method automatically creates a training dataset from a single degraded image and trains a denoising network without any clear images. Another notable feature of our method is the use of a separable convolutional layer. We undertake experiments to prove that the use of a separable network allows us to acquire the prior of a hyperspectral image and to realize efficient restoration. We demonstrate the validity of our method through extensive experiments and show that our method has better characteristics than those that are currently regarded as state-of-the-art.

研究动机与目标

• 解决高光谱图像（HSI）复原领域缺乏大规模标注数据集的问题，该问题限制了监督深度学习的应用。
• 克服由于HSI高光谱维度带来的高计算成本和模型复杂性，提升复原效率。
• 开发一种自监督训练策略，仅从单个退化HSI中生成合成训练数据，从而无需依赖干净参考图像。
• 通过采用可分离卷积层，利用HSI的各向异性结构，高效建模空间-光谱相关性，同时减少参数量。
• 在包括混合噪声和真实世界噪声在内的多种噪声类型下，实现鲁棒的复原性能，适用于无监督复原场景。

提出的方法

• 通过向从单个退化HSI中提取的图像块添加固定方差的噪声，生成合成训练数据，实现自监督学习。
• 使用可分离卷积神经网络（深度可分离卷积）分别建模空间和光谱特征，降低模型参数量和计算负载。
• 使用标准均方误差（MSE）损失函数对去噪网络进行训练，输入为噪声图像，输出为恢复图像，无需真实标签。
• 通过数据增强（旋转与翻转）提升训练多样性，使用40幅HSI图像，划分为40×40×50个图像块。
• 采用Adam优化器，并设置两阶段学习率调度：前40个周期学习率为1e-3，随后10个周期学习率为1e-4。
• 利用HSI固有的低秩性和自相似性特征，增强特征学习能力，无需显式先验知识，依赖可分离卷积带来的网络归纳偏差。

实验结果

研究问题

• RQ1 自监督学习框架是否能有效训练深度神经网络进行HSI复原，而无需依赖干净参考图像？
• RQ2 与标准卷积网络相比，使用可分离卷积层在HSI复原中如何提升效率与性能？
• RQ3 所提方法在合成与真实世界场景中，是否能泛化于包括高斯噪声、脉冲噪声和条纹缺陷在内的多种噪声类型？
• RQ4 在无监督与有监督设置下，该方法与当前最先进的基于模型和学习的HSI复原技术相比表现如何？
• RQ5 当应用于噪声特性与训练数据不同的图像时，该方法的性能退化程度如何？

主要发现

• 在混合噪声去除任务中（高斯+脉冲+条纹缺陷），该方法实现了39.29 dB的PSNR，优于所有对比方法，包括LRTDTV（35.22 dB）和DIP（25.77 dB）。
• 在真实噪声去除实验中，该方法成功恢复了锐利的图像特征并保持了对比度，优于DIP（导致过度平滑）和N2V（在严重退化下降低对比度）。
• 该方法在不同HSI数据集和噪声类型下均保持稳定性能，证明了其在噪声特性未知的无监督复原场景中的鲁棒性。
• 可分离卷积的使用显著降低了模型复杂度与参数量，同时保持了高复原质量，使高维HSI数据的高效训练成为可能。
• 该方法在所有评估任务中均达到最先进水平，包括高斯去噪、混合异常去除和真实噪声去除，且完全不依赖干净训练数据。
• 该方法是首个证明深度学习可超越传统基于模型的HSI复原技术在性能与鲁棒性方面的研究。