[论文解读] Robust Reference-based Super-Resolution via C2-Matching

Yuming Jiang, Kelvin C. K. Chan+3 more|arXiv (Cornell University)|Jun 3, 2021

Advanced Image Processing Techniques参考文献 38被引用 5

一句话总结

本文提出 C²-Matching，一种用于鲁棒参考图像超分的新型框架，通过对比对应网络实现尺度/旋转不变性，以及教师-学生相关性蒸馏以改善低分辨率与高分辨率图像的匹配，从而显式解决变换和分辨率差异问题。该方法在 CUFED5 上实现超过 1dB 的 PSNR 提升，并在模拟真实网络参考图像检索的新型 WR-SR 基准上展现出强大的泛化能力。

ABSTRACT

Reference-based Super-Resolution (Ref-SR) has recently emerged as a promising paradigm to enhance a low-resolution (LR) input image by introducing an additional high-resolution (HR) reference image. Existing Ref-SR methods mostly rely on implicit correspondence matching to borrow HR textures from reference images to compensate for the information loss in input images. However, performing local transfer is difficult because of two gaps between input and reference images: the transformation gap (e.g. scale and rotation) and the resolution gap (e.g. HR and LR). To tackle these challenges, we propose C2-Matching in this work, which produces explicit robust matching crossing transformation and resolution. 1) For the transformation gap, we propose a contrastive correspondence network, which learns transformation-robust correspondences using augmented views of the input image. 2) For the resolution gap, we adopt a teacher-student correlation distillation, which distills knowledge from the easier HR-HR matching to guide the more ambiguous LR-HR matching. 3) Finally, we design a dynamic aggregation module to address the potential misalignment issue. In addition, to faithfully evaluate the performance of Ref-SR under a realistic setting, we contribute the Webly-Referenced SR (WR-SR) dataset, mimicking the practical usage scenario. Extensive experiments demonstrate that our proposed C2-Matching significantly outperforms state of the arts by over 1dB on the standard CUFED5 benchmark. Notably, it also shows great generalizability on WR-SR dataset as well as robustness across large scale and rotation transformations.

研究动机与目标

• 为解决参考图像超分中因变换（如尺度、旋转）和分辨率（高分辨率 vs. 低分辨率）差异导致的对应匹配不准确问题。
• 通过在输入图像的增强视图上使用对比学习，学习对变换鲁棒的特征，以提升纹理迁移精度。
• 通过蒸馏来自预训练的高分辨率-高分辨率匹配教师模型的知识，指导更具挑战性的低分辨率-高分辨率匹配学生模型，以弥合分辨率差距。
• 构建一个更贴近实际应用场景的评估基准，其中参考图像来源于网络搜索。
• 通过动态聚合模块灵活融合基于学习对应关系的参考特征，进一步提升重建质量。

提出的方法

• 引入对比对应网络，通过最小化变换前后特征对之间的距离，同时最大化无关特征对之间的距离，学习对变换鲁棒的特征描述符。
• 采用三元组边界损失，强制实现对尺度和旋转的不变性，提升在几何变化下的对应匹配准确性。
• 通过教师-学生相关性蒸馏，将来自高分辨率-高分辨率匹配模型（教师）的知识迁移至低分辨率-高分辨率匹配模型（学生），提升在细纹理区域的性能。
• 学生模型通过教师的注意力图进行引导，即使在分辨率不平衡的情况下也能更准确地对齐对应关系。
• 动态聚合模块利用学习到的注意力权重融合参考图像特征，支持可变感受野，从而实现更优的纹理迁移。
• 整个框架通过重建损失进行端到端训练，并联合优化对应匹配准确性和图像质量。

实验结果

研究问题

• RQ1 对比学习能否在参考图像超分中提升大规模尺度和旋转变化下的对应匹配鲁棒性？
• RQ2 如何有效利用高分辨率匹配模型的知识，以改善低分辨率到高分辨率的对应匹配？
• RQ3 与隐式匹配相比，显式实现跨分辨率和跨变换匹配在纹理迁移和图像重建质量方面能提升多少？
• RQ4 所提方法在训练中未见过的、来自真实网络的参考图像上泛化能力如何？
• RQ5 对比网络、蒸馏和动态聚合等各组件对最终超分性能的影响如何？

主要发现

• 与最先进方法相比，C²-Matching 在标准 CUFED5 基准上实现了超过 1dB 的 PSNR 提升。
• 对比对应网络在大尺度和旋转变换下将平均端到端误差降低了 15%-25%，证明了其卓越的鲁棒性。
• 教师-学生相关性蒸馏在 CUFED5 的纹理子集上提升了 0.16dB，表明在细节恢复方面有显著增益。
• 与固定大小块融合相比，动态聚合模块使 PSNR 提升了 0.08dB，显示出自适应特征融合的优势。
• 在新引入的 WR-SR 数据集上，该方法保持了强劲性能，证明其在模拟真实网络参考图像检索场景下的泛化能力。
• 用户研究表明，超过 80% 的参与者更偏好 C²-Matching 输出的视觉质量，优于 SRNTT 和 ESRGAN 等最先进方法。