[论文解读] Unfolding Taylor's Approximations for Image Restoration

Man Zhou, Zeyu Xiao+4 more|arXiv (Cornell University)|Sep 8, 2021

Image and Signal Denoising Methods参考文献 58被引用 9

一句话总结

本文提出了一种新颖的深度泰勒近似框架，将图像恢复重新表述为泰勒公式的展开过程，将高层语义理解（主项）与局部细节恢复（导数项）分离。通过将这两个角色解耦为两个独立的网络阶段，该方法在图像去雨和去模糊任务中提升了性能与可解释性，并且与现有CNN模型正交，可无缝集成以实现SOTA性能增益。

ABSTRACT

Deep learning provides a new avenue for image restoration, which demands a delicate balance between fine-grained details and high-level contextualized information during recovering the latent clear image. In practice, however, existing methods empirically construct encapsulated end-to-end mapping networks without deepening into the rationality, and neglect the intrinsic prior knowledge of restoration task. To solve the above problems, inspired by Taylor's Approximations, we unfold Taylor's Formula to construct a novel framework for image restoration. We find the main part and the derivative part of Taylor's Approximations take the same effect as the two competing goals of high-level contextualized information and spatial details of image restoration respectively. Specifically, our framework consists of two steps, correspondingly responsible for the mapping and derivative functions. The former first learns the high-level contextualized information and the later combines it with the degraded input to progressively recover local high-order spatial details. Our proposed framework is orthogonal to existing methods and thus can be easily integrated with them for further improvement, and extensive experiments demonstrate the effectiveness and scalability of our proposed framework.

研究动机与目标

• 解决端到端深度学习模型在图像恢复任务中缺乏可解释性与合理设计的问题。
• 以一种系统化、基于数学理论的方式，平衡高层语义信息与细粒度空间细节之间的竞争目标。
• 开发一种模块化、正交的框架，可无缝集成到现有的基于CNN的图像恢复模型中。
• 提供一种新的理论视角——泰勒近似——以理解与设计图像恢复架构。

提出的方法

• 该框架将图像恢复分解为两个阶段：一个映射函数用于学习高层语义特征，一个导数函数用于恢复局部高阶空间细节。
• 泰勒展开的主项对应于全局上下文学习，而导数项则用于建模局部细节优化。
• 导数函数将退化输入与上下文特征相结合，通过高阶近似逐步恢复精细细节。
• 该方法被设计为与现有网络正交，可作为即插即用模块嵌入任意基于CNN的图像恢复模型中。
• 该框架支持可变阶近似（例如3阶至6阶），实现速度与精度之间的可控权衡。
• 导数函数在不同阶次间共享参数，简化了训练过程，同时保持了灵活性。

实验结果

研究问题

• RQ1 泰勒近似能否为图像恢复过程提供一种系统化、可解释的分解方式？
• RQ2 将全局上下文学习与局部细节恢复分离为独立阶段，是否能提升恢复性能与模型可解释性？
• RQ3 所提出的框架是否能在不同图像恢复任务（如去雨与去模糊）中实现泛化？
• RQ4 该框架是否能无缝集成到现有基于CNN的模型中，以提升性能而无需进行架构重构？

主要发现

• 在标准基准测试上，所有基线去雨与去模糊模型在引入该框架后均实现了稳定的性能提升。
• 3阶近似在性能与复杂度之间实现了最佳平衡，可作为消融实验与对比的最优基线。
• 在Rain800与GoPro数据集上的视觉结果表明，更高阶近似显著提升了纹理恢复效果并减少了伪影。
• 该框架展现出良好的可扩展性，性能增益在多种不同架构中均被观察到，证实了其正交性与泛化能力。
• 消融研究确认，导数函数在细化局部细节方面起着关键作用，更高阶项显著提升了细粒度恢复效果。