[论文解读] Self-Tuned Deep Super Resolution

Wang, Zhangyang, Shuicheng Yan+5 more|arXiv (Cornell University)|Apr 22, 2015

Advanced Image Processing Techniques参考文献 2被引用 13

一句话总结

本文提出深度联合超分辨率（DJSR），一种新颖的深度学习框架，通过联合利用外部图像先验和输入图像内部的自相似性，实现增强的超分辨率。通过在外部数据上预训练，并使用多尺度、置信加权的自样本进行微调，DJSR在定量指标（PSNR、SSIM）和感知质量方面均达到最先进性能，尤其在纹理细节和边缘锐度方面表现卓越。

ABSTRACT

Deep learning has been successfully applied to image super resolution (SR). In this paper, we propose a deep joint super resolution (DJSR) model to exploit both external and self similarities for SR. A Stacked Denoising Convolutional Auto Encoder (SDCAE) is first pre-trained on external examples with proper data augmentations. It is then fine-tuned with multi-scale self examples from each input, where the reliability of self examples is explicitly taken into account. We also enhance the model performance by sub-model training and selection. The DJSR model is extensively evaluated and compared with state-of-the-arts, and show noticeable performance improvements both quantitatively and perceptually on a wide range of images.

研究动机与目标

• 解决现有超分辨率方法仅依赖外部样本（易受噪声/过度平滑影响）或自样本（受限于可靠补丁不足）的局限性。
• 利用外部与自相似性的互补优势，提升图像超分辨率中的重建保真度与感知质量。
• 构建一个原理严谨的端到端可训练深度学习框架，整合外部与自相似性，避免非端到端或非优化方法的缺陷。
• 通过基于补丁聚类的子模型训练与选择策略，提升模型泛化能力与鲁棒性，从而在多样化图像内容上表现更优。

提出的方法

• 在大规模外部数据集上预训练堆叠去噪卷积自编码器（SDCAE），并结合数据增强技术，学习通用图像先验。
• 使用从输入图像中提取的多尺度自相似补丁对预训练模型进行微调，基于可靠性为每个自样本对分配置信权重。
• 通过将图像补丁聚类为K组，引入子模型训练与选择策略：为每组聚类训练专用子模型，并在推理阶段为每个补丁选择最优子模型。
• 将微调过程建模为领域自适应问题，其中源域为外部数据集，目标域为输入图像的自相似性。
• 在微调过程中使用置信加权损失，优先考虑高可靠性自样本，减少因不匹配或噪声补丁导致的伪影。
• 采用端到端训练，使用MSE损失优化PSNR，同时将SSIM作为感知质量评估指标，验证视觉质量的提升。

实验结果

研究问题

• RQ1 在深度学习框架中联合使用外部与自相似性，是否能超越最先进方法，显著提升超分辨率性能？
• RQ2 使用来自输入图像的可靠、多尺度自样本对预训练模型进行微调，如何影响重建质量与伪影抑制？
• RQ3 基于补丁聚类的子模型数量（K）的最优值是多少？其如何在模型性能的偏差与方差之间实现平衡？
• RQ4 所提出的DJSR框架在定量指标与感知质量方面，相较于现有深度与非深度超分辨率方法，优势程度如何？

主要发现

• 在Set 5数据集（2×缩放）上，DJSR实现PSNR 36.78 dB与SSIM 0.9550，优于SRCNN（36.66 dB，0.9542）及其他最先进方法。
• 在Set 14数据集（2×缩放）上，DJSR实现PSNR 32.51 dB与SSIM 0.9097，相较于SRCNN（32.45 dB，0.9067）和A+（32.58 dB，0.9056）表现出一致的性能提升。
• DJSR显著改善了感知质量，生成更锐利的边缘与更丰富的纹理——在Roman与Train图像的放大区域中尤为明显，同时有效抑制了块状效应与锯齿伪影。
• 子模型训练中K=50–100聚类时性能最优，PSNR在K=500时达到峰值，而在K=800与1,000时下降，表明在小型不可靠聚类上出现过拟合。
• 模型在高频区域（如纹理、边缘）明显偏好自样本，而外部样本则更多贡献于平滑区域，验证了两类先验的互补性。
• 微调步骤显著提升了通用预训练模型的性能，SSIM得分明显改善，表明其与人类感知的对齐程度优于仅依赖PSNR的指标。