[论文解读] Progressive Image Inpainting with Full-Resolution Residual Network

Zongyu Guo, Zhibo Chen+3 more|arXiv (Cornell University)|Jul 24, 2019

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

该论文提出了一种全分辨率残差网络（FRRN），用于不规则孔洞的渐进式图像修复，采用一种新颖的全分辨率残差块（FRRB），通过保持高分辨率特征融合来提升纹理预测能力和收敛速度。该方法采用N Blocks, One Dilation策略和分步损失函数，以增强中间修复质量，在Places2、CelebA及其他基准测试上实现了最先进性能，PSNR和SSIM指标均有显著提升。

ABSTRACT

Recently, learning-based algorithms for image inpainting achieve remarkable progress dealing with squared or irregular holes. However, they fail to generate plausible textures inside damaged area because there lacks surrounding information. A progressive inpainting approach would be advantageous for eliminating central blurriness, i.e., restoring well and then updating masks. In this paper, we propose full-resolution residual network (FRRN) to fill irregular holes, which is proved to be effective for progressive image inpainting. We show that well-designed residual architecture facilitates feature integration and texture prediction. Additionally, to guarantee completion quality during progressive inpainting, we adopt N Blocks, One Dilation strategy, which assigns several residual blocks for one dilation step. Correspondingly, a step loss function is applied to improve the performance of intermediate restorations. The experimental results demonstrate that the proposed FRRN framework for image inpainting is much better than previous methods both quantitatively and qualitatively. Our codes are released at: \url{https://github.com/ZongyuGuo/Inpainting_FRRN}.

研究动机与目标

• 解决在周围上下文信息有限的不规则遮挡区域中生成逼真纹理的挑战。
• 提升渐进式修复中中间阶段的修复质量，防止误差在各阶段间传播。
• 设计一种深层、高效的网络架构，通过保持全分辨率特征以实现更好的纹理合成和更快的收敛速度。
• 实现具有自适应掩码扩展和高保真重建能力的渐进式修复，适用于不规则孔洞。

提出的方法

• 提出全分辨率残差块（FRRB），通过并行的全分辨率特征分支增强特征融合与纹理预测能力。
• 采用渐进式修复策略，交替进行图像优化与使用膨胀模块扩展掩码。
• 应用N Blocks, One Dilation策略，为每个膨胀步骤分配多个FRRB，以在掩码更新前提升重建质量。
• 使用分步损失函数，对中间输出进行正则化，以抑制误差传播并提升训练稳定性。
• 设计由多个膨胀模块组成的全分辨率残差网络（FRRN），每个模块包含多个FRRB，以处理大尺寸和不规则孔洞。
• 采用端到端训练方式，结合L1损失和感知损失，并在每个中间阶段应用分步损失。

实验结果

研究问题

• RQ1 全分辨率残差架构是否能提升图像修复中的纹理合成能力与收敛速度？
• RQ2 通过受控掩码扩展实现的渐进式优化，是否能带来更好的中间与最终重建质量？
• RQ3 N Blocks, One Dilation策略与分步损失函数是否能协同抑制渐进式修复中的误差传播？
• RQ4 每个膨胀模块中FRRB的数量如何影响不同孔洞尺寸下的性能表现？

主要发现

• FRRB中的全分辨率分支显著提升了收敛速度，并在10%-20%掩码的CelebA数据集上将PSNR提升0.63分（33.66 vs. 33.03）。
• 分步损失函数在不同掩码尺寸下均一致地提升了中间与最终结果，平均PSNR提升0.58分。
• 当使用三个膨胀模块（共六个FRRB）时，轻量化FRRN在CelebA上的PSNR达到33.66，接近小到中等孔洞的峰值性能。
• 全量FRRN（八个模块，共十六个FRRB）在10%-20%掩码下PSNR达到34.07，展现出对大孔洞的可扩展性。
• 该方法在Places2数据集上达到最先进性能，优于此前的SOTA方法（包括EdgeConnect和PConv），在PSNR、SSIM和L1指标上均表现更优。
• 消融实验表明，全分辨率分支与分步损失均为实现高质量重建与稳定训练所必需。