[论文解读] Super-Resolution with Deep Adaptive Image Resampling

Xu Jia, Hong Chang+1 more|arXiv (Cornell University)|Dec 18, 2017

Advanced Image Processing Techniques参考文献 38被引用 8

一句话总结

本文提出了一种用于单图和联合图像超分的深度学习框架，采用自适应图像重采样技术，其中卷积网络学习空间可变的插值核。通过用可学习、依赖特征的核替代固定插值，该方法在基准数据集上实现了最先进性能，尤其在保留细节和纹理方面表现优异。

ABSTRACT

Deep learning based methods have recently pushed the state-of-the-art on the problem of Single Image Super-Resolution (SISR). In this work, we revisit the more traditional interpolation-based methods, that were popular before, now with the help of deep learning. In particular, we propose to use a Convolutional Neural Network (CNN) to estimate spatially variant interpolation kernels and apply the estimated kernels adaptively to each position in the image. The whole model is trained in an end-to-end manner. We explore two ways to improve the results for the case of large upscaling factors, and propose a recursive extension of our basic model. This achieves results that are on par with state-of-the-art methods. We visualize the estimated adaptive interpolation kernels to gain more insight on the effectiveness of the proposed method. We also extend the method to the task of joint image filtering and again achieve state-of-the-art performance.

研究动机与目标

• 通过学习自适应、内容感知的重采样核，解决固定插值在超分中的局限性。
• 通过动态插值权重建模局部图像结构，提升图像重建质量。
• 将该方法扩展至联合超分任务，例如利用引导信息增强深度图像。
• 证明所学习的核相较于标准方法能更好地保留边缘和纹理。

提出的方法

• 该方法采用类似U-Net的编码器-解码器网络，结合残差块以提取特征并预测自适应插值核。
• 通过子像素卷积层将特征图上采样至目标分辨率，随后是应用所预测核的可学习重采样层。
• 网络为每个输出像素预测一个$5\times5$插值核，仅因稀疏性而可视化其中心的$3\times3$区域。
• 在联合超分任务中，将引导特征（如深度图）与输入拼接，以条件化核的预测。
• 模型采用感知损失和内容损失进行端到端训练，以优化高频细节恢复。
• 通过可学习的空间可变卷积层实现自适应重采样，替代标准的最近邻或双线性上采样。

实验结果

研究问题

• RQ1 所学习的空间自适应插值核是否能优于固定插值在超分任务中的表现？
• RQ2 自适应核如何影响高分辨率图像中细纹理和边缘的重建？
• RQ3 该框架能否扩展至使用引导信息（如深度图）的联合超分任务？
• RQ4 所预测的核在不同图像内容和结构中如何变化？

主要发现

• 所提方法在标准超分基准数据集上达到最先进性能，尤其在PSNR和LPIPS指标上表现突出。
• 可视化结果表明，所预测的核具有稀疏性和局部性，中心区域响应强烈，表明对相关图像区域的聚焦关注。
• 模型能够自适应地增强边缘和纹理，相比基线方法生成更清晰的输出。
• 在联合超分任务中，引导特征改善了核的预测，从而实现更精确的深度增强图像重建。