[论文解读] Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

Yoonsik Kim, Jae Woong Soh+2 more|arXiv (Cornell University)|Feb 26, 2020

Image and Signal Denoising Methods参考文献 56被引用 20

一句话总结

该论文提出了一种迁移学习框架，利用合成噪声数据训练一个采用自适应实例归一化（AIN）的去噪器，从而实现对真实世界噪声的强泛化能力。通过在少量真实噪声数据上微调AIN模块，该方法在Darmstadt噪声数据集（DND）等真实世界基准上实现了最先进性能，即使使用极少的真实数据也优于现有方法。

ABSTRACT

Real-noise denoising is a challenging task because the statistics of real-noise do not follow the normal distribution, and they are also spatially and temporally changing. In order to cope with various and complex real-noise, we propose a well-generalized denoising architecture and a transfer learning scheme. Specifically, we adopt an adaptive instance normalization to build a denoiser, which can regularize the feature map and prevent the network from overfitting to the training set. We also introduce a transfer learning scheme that transfers knowledge learned from synthetic-noise data to the real-noise denoiser. From the proposed transfer learning, the synthetic-noise denoiser can learn general features from various synthetic-noise data, and the real-noise denoiser can learn the real-noise characteristics from real data. From the experiments, we find that the proposed denoising method has great generalization ability, such that our network trained with synthetic-noise achieves the best performance for Darmstadt Noise Dataset (DND) among the methods from published papers. We can also see that the proposed transfer learning scheme robustly works for real-noise images through the learning with a very small number of labeled data.

研究动机与目标

• 解决图像去噪中合成噪声（SN）与真实世界噪声（RN）之间的域差距问题，即在SN上训练的CNN在RN上表现不佳，这是由于分布不匹配所致。
• 通过引入自适应实例归一化（AIN）作为正则化手段，克服对合成噪声分布的过拟合，提升泛化能力。
• 开发一种迁移学习方案，通过仅微调少量真实噪声对的AIN模块，高效地将SN训练的去噪器适配到RN。
• 证明所提方法即使在真实数据有限的情况下，也能在多种相机设备和噪声特性下实现良好泛化。
• 在DND和SIDD等真实世界去噪基准上实现最先进性能，优于使用完整真实数据集训练的先前方法。

提出的方法

• 提出AINDNet，一种使用自适应实例归一化（AIN）正则化特征图并防止对合成噪声过拟合的去噪网络。
• 使用AIN在合成噪声数据上训练AINDNet(S)变体，其中归一化参数根据局部噪声水平按空间位置预测。
• 引入一种迁移学习方案，仅使用少量真实噪声图像对微调已用SN训练的网络的AIN模块。
• 将噪声水平图作为AIN模块的输入，实现空间自适应归一化，使其能适应局部噪声特性。
• 通过仅更新AIN层的仿射参数来应用迁移学习过程，同时保持主干网络权重不变。
• 在合成数据和真实数据上端到端联合训练模型，使用L1或L2损失，其中真实数据仅用于微调AIN模块。

(a) Synthetic Data

实验结果

研究问题

• RQ1 在存在分布差异的情况下，仅在合成噪声上训练的去噪器是否能有效泛化到真实世界噪声？
• RQ2 自适应实例归一化（AIN）在正则化网络并提升对真实噪声泛化能力方面有多有效？
• RQ3 从合成噪声到真实噪声的迁移学习在多大程度上能减少对大规模真实噪声数据集的需求？
• RQ4 当仅使用少量真实噪声对时，所提迁移学习方案的性能增益如何？
• RQ5 仅微调AIN模块是否能保持预训练合成去噪器的泛化能力，同时适应真实噪声？

主要发现

• 仅在合成噪声上训练的AINDNet(S)模型在DND测试集上达到39.53 dB的PSNR，优于先前最先进方法。
• 仅使用SIDD中的32对真实噪声图像，迁移学习变体AINDNet+TF即达到38.75 dB的PSNR，超过在完整320张真实图像数据集上训练的RIDNet。
• AINDNet+TF模型在SIDD验证集上达到39.08 dB的PSNR，优于使用相同训练数据的最优报告方法（AINDNet+RT为39.15 dB）。
• 即使仅使用1–2张真实图像，该迁移学习方案也能实现显著性能提升，表现出对数据稀缺的鲁棒性。
• 消融实验表明，AIN-残差块（AIN-ResBlock）架构在真实世界噪声数据集上优于标准实例归一化和门控残差块。
• 该方法在多种相机设备间表现出良好泛化能力，这在DND和SIDD等多个真实世界基准上的优异表现中得到验证。

(b) Real Data