[论文解读] Unsupervised Denoising for Satellite Imagery using Wavelet Subband CycleGAN

Joonyoung Song, Jaeheon Jeong+4 more|arXiv (Cornell University)|Feb 23, 2020

Image and Signal Denoising Methods参考文献 30被引用 8

一句话总结

该论文提出 WavCycleGAN，一种用于多光谱卫星图像的无监督去噪方法，通过小波子带分解与循环一致性对抗网络，无需成对的噪声-清晰图像数据，即可去除结构化噪声（如垂直条纹和波纹噪声）。该方法在 PSNR 和 SSIM 指标上优于标准 CycleGAN 和基于模型的方法，同时保留了边缘和纹理等高频细节。

ABSTRACT

Multi-spectral satellite imaging sensors acquire various spectral band images such as red (R), green (G), blue (B), near-infrared (N), etc. Thanks to the unique spectroscopic property of each spectral band with respective to the objects on the ground, multi-spectral satellite imagery can be used for various geological survey applications. Unfortunately, image artifacts from imaging sensor noises often affect the quality of scenes and have negative impacts on the applications of satellite imagery. Recently, deep learning approaches have been extensively explored for the removal of noises in satellite imagery. Most deep learning denoising methods, however, follow a supervised learning scheme, which requires matched noisy image and clean image pairs that are difficult to collect in real situations. In this paper, we propose a novel unsupervised multispectral denoising method for satellite imagery using wavelet subband cycle-consistent adversarial network (WavCycleGAN). The proposed method is based on unsupervised learning scheme using adversarial loss and cycle-consistency loss to overcome the lack of paired data. Moreover, in contrast to the standard image domain cycleGAN, we introduce a wavelet subband domain learning scheme for effective denoising without sacrificing high frequency components such as edges and detail information. Experimental results for the removal of vertical stripe and wave noises in satellite imaging sensors demonstrate that the proposed method effectively removes noises and preserves important high frequency features of satellite images.

研究动机与目标

• 为解决由于缺乏成对的噪声-清晰图像数据集，导致多光谱卫星图像无监督去噪的挑战。
• 在保留边缘和细纹理等高频图像分量方面提升去噪性能，这些分量在标准图像域方法中常被模糊化。
• 通过在无监督设置下利用对抗训练和循环一致性损失，克服监督深度学习和传统基于模型的去噪方法的局限性。
• 通过在小波子带域应用 Cycle-GAN，利用卫星图像中的方向性噪声模式，实现更有效的噪声分量分离与去除。

提出的方法

• 该方法采用小波子带分解，将输入图像分解为多个频率子带，实现在特定频率分量上的针对性噪声抑制。
• 在小波子带域应用循环一致性对抗网络（CycleGAN），在无成对数据的情况下学习从噪声图像分布到清晰图像分布的映射。
• 网络使用对抗损失生成逼真的去噪输出，同时利用循环一致性损失确保重建图像可被映射回原始分布，从而减少模式崩溃。
• 小波子带方法能够隔离噪声分量——尤其是垂直条纹和波纹等方向性噪声——同时保留边缘等高频分量的能量。
• 训练过程使用合成噪声数据和基于模型的去噪图像作为清洁数据的代理，实现无监督预训练。
• 最终通过逆小波变换，从去噪子带重建图像完成去噪。

实验结果

研究问题

• RQ1 无监督深度学习方法能否在无需成对噪声-清晰图像数据集的情况下，有效实现多光谱卫星图像去噪？
• RQ2 与标准图像域的 CycleGAN 相比，小波子带域学习是否能提升去噪性能，特别是在保留高频图像细节方面？
• RQ3 在小波域中采用循环一致性对抗训练，能否有效抑制垂直条纹和波纹等结构化噪声模式，同时避免引入伪影？
• RQ4 在 PSNR 和 SSIM 指标上，所提出的 WavCycleGAN 与传统基于模型的去噪方法和标准 CycleGAN 相比，其定量表现如何？
• RQ5 当无清洁成对数据可用时，小波域中的无监督学习能否优于监督基线方法？

主要发现

• 在去除垂直条纹噪声方面，WavCycleGAN 的平均 PSNR 达到 66.17 dB，SSIM 达到 0.99988，优于 CycleGAN（63.36 dB，0.99977）和基于模型的方法（63.11 dB，0.99961）。
• 在波纹噪声场景下，WavCycleGAN 的平均 PSNR 为 57.32 dB，SSIM 为 0.99752，优于 CycleGAN（56.55 dB，0.99789）和基于模型的方法（53.67 dB，0.99639）。
• 视觉结果表明，WavCycleGAN 有效保留了细粒度细节和边缘，而基于模型的方法在云层等复杂场景中产生了模糊输出。
• 该方法能有效去除垂直条纹和波纹等方向性噪声模式，且未引入伪影或扭曲结构特征。
• 即使使用基于模型的结果作为清洁数据的代理，WavCycleGAN 的性能仍优于基于模型的方法本身，证明了分布匹配相比成对匹配的优势。
• 在垂直条纹和波纹噪声两种场景下，WavCycleGAN 在所有测试场景中均持续取得最高的 PSNR 和 SSIM，证实了其鲁棒性和优越性。