[论文解读] Self-Adaptively Learning to Demoire from Focused and Defocused Image Pairs

Lin Liu, Shanxin Yuan+4 more|arXiv (Cornell University)|Nov 3, 2020

Advanced Image Processing Techniques参考文献 48被引用 4

一句话总结

本文提出一种自适应的测试时学习方法，用于去除图像中的摩尔纹，输入为聚焦的摩尔纹图像和对应的散焦去摩尔纹模糊图像。该方法采用一种迭代联合优化的U-Net类网络与三层全连接模糊核预测器，无需显式训练即可恢复干净图像，在合成数据集和真实世界数据集上均优于当前最先进方法，包括一个包含纹理摩尔纹图案的新基准数据集。

ABSTRACT

Moire artifacts are common in digital photography, resulting from the interference between high-frequency scene content and the color filter array of the camera. Existing deep learning-based demoireing methods trained on large scale datasets are limited in handling various complex moire patterns, and mainly focus on demoireing of photos taken of digital displays. Moreover, obtaining moire-free ground-truth in natural scenes is difficult but needed for training. In this paper, we propose a self-adaptive learning method for demoireing a high-frequency image, with the help of an additional defocused moire-free blur image. Given an image degraded with moire artifacts and a moire-free blur image, our network predicts a moire-free clean image and a blur kernel with a self-adaptive strategy that does not require an explicit training stage, instead performing test-time adaptation. Our model has two sub-networks and works iteratively. During each iteration, one sub-network takes the moire image as input, removing moire patterns and restoring image details, and the other sub-network estimates the blur kernel from the blur image. The two sub-networks are jointly optimized. Extensive experiments demonstrate that our method outperforms state-of-the-art methods and can produce high-quality demoired results. It can generalize well to the task of removing moire artifacts caused by display screens. In addition, we build a new moire dataset, including images with screen and texture moire artifacts. As far as we know, this is the first dataset with real texture moire patterns.

研究动机与目标

• 为解决从自然图像和数码显示屏中去除复杂多变的摩尔纹图案的挑战，因缺乏多样化、高质量的训练数据，监督方法难以奏效。
• 通过在测试时利用散焦的无摩尔纹图像作为引导，实现无需显式训练的有效去摩尔纹。
• 创建一个全新的基准数据集，包含来自数码屏幕和高频纹理的真实世界摩尔纹图案，该数据集为首个此类数据集。
• 开发一种与硬件无关的方法，适用于标准数码相机和智能手机，无需修改现有成像流水线。

提出的方法

• 该方法采用双子网络架构：一个用于图像去摩尔纹（U-Net类编码器-解码器），一个用于模糊核估计（三层全连接网络），两者在测试时迭代联合优化。
• 去摩尔纹网络以聚焦的摩尔纹图像为输入，通过迭代优化逐步预测出干净的无摩尔纹图像。
• 模糊核估计网络利用散焦的无摩尔纹图像，预测一个空间可变的模糊核，以建模低通滤波效应。
• 两个网络以迭代自适应方式联合优化，无需预训练权重，从而能够适应未见过的摩尔纹图案。
• 散焦图像通过软件或硬件方式生成，模拟低通滤波器，以去除摩尔纹伪影，同时保留结构细节。
• 该方法将去摩尔纹视为联合滤波问题，其中模糊核引导恢复过程，从而提升保真度与细节恢复能力。

实验结果

研究问题

• RQ1 自适应的测试时学习方法是否能有效去除复杂摩尔纹图案，而无需在大规模数据集上进行显式训练？
• RQ2 散焦的无摩尔纹图像是否可作为从聚焦摩尔纹图像中恢复干净图像的可靠引导？
• RQ3 所提方法在真实场景下对屏幕引起的和纹理引起的摩尔纹图案的泛化能力如何，尤其是对复杂真实场景？
• RQ4 图像恢复与模糊核估计的联合优化是否能超越现有的监督与无监督去摩尔纹方法？

主要发现

• 所提方法FDNet在公共数据集（TIP2018、LCDMoire）以及新引入的RealScreenMoire和RealTextureMoire数据集上均达到最先进性能。
• 在包含真实高频纹理摩尔纹图案的RealTextureMoire数据集中，FDNet显著优于在屏幕特定数据上训练的监督方法如MopNet和SVLRM。
• 定量结果表明，FDNet在合成与真实世界测试集上均取得更高的PSNR与SSIM，表明其具有更优的恢复质量与细节保持能力。
• 视觉对比显示，FDNet能有效去除摩尔纹图案，同时保持纹理清晰锐利，而DIP与DoubleDIP等方法则残留伪影或过度平滑细节。
• 该方法在基于屏幕的摩尔纹图案上也表现出良好泛化能力，在SynScreenMoire与SynTextureMoire基准上均优于无监督与监督基线方法。
• 消融研究证实，图像恢复与模糊核估计的联合优化对性能至关重要，当移除任一组件时，性能显著下降。