[论文解读] Universal Face Restoration With Memorized Modulation

Jia Li, Huaibo Huang+2 more|arXiv (Cornell University)|Oct 3, 2021

Advanced Image Processing Techniques参考文献 48被引用 4

一句话总结

本文提出了一种新颖的通用人脸复原框架——记忆调制复原（RMM），该框架利用噪声和无监督小波记忆的自适应注意力调制，复原各类低质量人脸图像。通过整合可学习的噪声先验、基于小波的高频纹理记忆以及多层级归一化图（AdaAO、AdaALN、AdaAIN），RMM在合成与真实世界退化条件下均实现了最先进性能，展现出在卡通、油画及NIR图像等异质领域中的强大泛化能力。

ABSTRACT

Blind face restoration (BFR) is a challenging problem because of the uncertainty of the degradation patterns. This paper proposes a Restoration with Memorized Modulation (RMM) framework for universal BFR in diverse degraded scenes and heterogeneous domains. We apply random noise as well as unsupervised wavelet memory to adaptively modulate the face-enhancement generator, considering attentional denormalization in both layer and instance levels. Specifically, in the training stage, the low-level spatial feature embedding, the wavelet memory embedding obtained by wavelet transformation of the high-resolution image, as well as the disentangled high-level noise embeddings are integrated, with the guidance of attentional maps generated from layer normalization, instance normalization, and the original feature map. These three embeddings are respectively associated with the spatial content, high-frequency texture details, and a learnable universal prior against other blind image degradation patterns. We store the spatial feature of the low-resolution image and the corresponding wavelet style code as key and value in the memory unit, respectively. In the test stage, the wavelet memory value whose corresponding spatial key is the most matching with that of the inferred image is retrieved to modulate the generator. Moreover, the universal prior learned from the random noise has been memorized by training the modulation network. Experimental results show the superiority of the proposed method compared with the state-of-the-art methods, and a good generalization in the wild.

研究动机与目标

• 解决在模糊、噪声和压缩等多样且未知退化模式下的盲人脸复原（BFR）挑战。
• 通过消除推理过程中对高质量参考图像或外部预训练模型的依赖，克服基于参考或依赖预训练模型方法的局限性。
• 构建一个统一框架，实现对真实世界、卡通及艺术风格人脸图像等异质领域的泛化。
• 提出一种记忆增强机制，从经小波变换的特征中存储并检索高频纹理细节，以实现自适应复原。
• 通过注意力引导的特征调制，联合建模空间内容、纹理细节与通用噪声先验，提升复原保真度。

提出的方法

• 提出RMM模块（RM³），利用原始特征、层归一化特征与实例归一化特征生成的三种自适应注意力图（AdaAO、AdaALN、AdaAIN）来引导特征调制。
• 整合三种嵌入：低层级空间特征（内容）、高频小波系数（纹理）以及解耦的噪声嵌入（通用先验），实现多层级复原控制。
• 实现小波记忆模块（WMM），将小波风格编码作为值存储，低分辨率空间特征作为键，从而在推理过程中基于空间特征相似性检索匹配的高频细节。
• 使用固定潜在尺寸的随机噪声作为与分辨率无关的通用先验，通过端到端训练的调制网络调节生成器。
• 在解码器多个阶段应用自适应特征调制，利用注意力图动态平衡结构完整性与纹理细节合成。
• 采用对抗损失与感知损失进行端到端训练，记忆检索基于空间特征相似性在推理阶段完成。

实验结果

研究问题

• RQ1 统一的人脸复原框架是否能在不依赖高质量参考图像的前提下，对多样且未见的退化模式实现优越性能？
• RQ2 无监督小波记忆在盲人脸复原过程中对保留高频纹理细节的效用如何？
• RQ3 可学习的、与分辨率无关的噪声先验在盲人脸复原中的泛化能力提升程度如何？
• RQ4 来自原始特征、层归一化与实例归一化特征的多层级注意力图在平衡结构与纹理复原方面有何贡献？
• RQ5 所提出的记忆化调制机制是否能泛化至异质领域，如卡通、素描及NIR图像？

主要发现

• 在FF-HQ数据集上，RMM在所有变体中取得最佳FID（100.61）、KID（8.24）与NIQE（4.54）得分，优于使用更深VGG层小波分解的模型。
• 采用输入图像小波包分解的变体（RMM）实现最低NIQE（4.54）与最佳FID（100.61），表明其具有更优的感知质量与保真度。
• 使用浅层特征（如conv1_1）进行小波分解可获得最佳NIQE（4.29），但FID（109.41）与KID（9.29）表现更差，表明感知质量与结构准确性之间存在权衡。
• 来自深层特征（如ResNet18的第0、2、4、6层）的查询向量产生更高的FID与KID（106.9–107.33），表明浅层查询在空间特征匹配方面效果较差。
• 消融实验表明，去除噪声调制（$w/o ext{ }Z_N$）与去除小波记忆（$w/o ext{ }Z_W$）均显著降低性能，证明二者在训练与推理中的关键作用。
• 在异质领域中，当卡通人脸与真实人脸相似（如眼距相近）时，失败案例常导致风格化特征丢失；极端妆容亦会引起面部组件复原错位。