[论文解读] Strict Enforcement of Conservation Laws and Invertibility in CNN-Based Super Resolution for Scientific Datasets

Andrew Geiss, Joseph Hardin|arXiv (Cornell University)|Nov 11, 2020

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出下采样强制（Downsampling Enforcement, DE），一种应用于基于CNN的超分辨率网络最后一层之后的可微分算子，以确保在二维平均下采样下，高分辨率输出能精确重现低分辨率输入。该方法在基准数据集和科学数据集上对七种SISR架构均提升了性能，同时严格保持物理守恒定律，且无需修改训练过程或损失函数。

ABSTRACT

Recently, deep Convolutional Neural Networks (CNNs) have revolutionized image super-resolution (SR), dramatically outperforming past methods for enhancing image resolution. They could be a boon for the many scientific fields that involve image or gridded datasets: satellite remote sensing, radar meteorology, medical imaging, numerical modeling etc. Unfortunately, while SR-CNNs produce visually compelling outputs, they may break physical conservation laws when applied to scientific datasets. Here, a method for ``Downsampling Enforcement" in SR-CNNs is proposed. A differentiable operator is derived that, when applied as the final transfer function of a CNN, ensures the high resolution outputs exactly reproduce the low resolution inputs under 2D-average downsampling while improving performance of the SR schemes. The method is demonstrated across seven modern CNN-based SR schemes on several benchmark image datasets, and applications to weather radar, satellite imager, and climate model data are also shown. The approach improves training time and performance while ensuring physical consistency between the super-resolved and low resolution data.

研究动机与目标

• 解决将基于CNN的超分辨率方法应用于卫星、雷达和气候模型数据等科学数据集时存在的物理不一致性问题。
• 在不修改训练过程或损失函数的前提下，强制实现二维平均下采样下的精确可逆性。
• 在确保低分辨率与高分辨率数据间统计一致性的同时，提升超分辨率网络的性能与训练效率。
• 在包括气象雷达和气候建模等真实科学应用在内的多样化数据集上，证明该方法的有效性。

提出的方法

• 推导并应用一种可微分的下采样强制（DE）算子，作为基于CNN的超分辨率网络中的最终变换函数。
• DE算子确保网络输出在通过二维平均池化下采样后，能精确重建原始的低分辨率输入。
• 该方法以可学习层的形式实现，通过计算对网络中间高分辨率输出的修正，以满足可逆性约束。
• 修正通过从二维平均下采样操作的逆运算中推导出的闭式表达式计算，从而在反向传播中保持梯度流动。
• 该方法与任何现有SISR架构兼容，无需修改数据、损失函数或训练流程。
• 可在损失函数中添加正则化项以减小修正的幅值，从而在不牺牲最终性能的前提下提升中间输出质量。

实验结果

研究问题

• RQ1 能否设计一种可微分算子，在二维平均下采样下强制实现基于CNN的超分辨率中的精确可逆性？
• RQ2 通过该算子强制实现可逆性是否能提升标准和科学图像数据集上的性能？
• RQ3 该方法在卫星成像和气候建模等科学应用中，对物理守恒定律的保持程度如何？
• RQ4 DE算子所需的修正幅值在训练过程中如何演变？是否可以最小化？
• RQ5 该方法在包括x16等大比例在内的多样化架构和上采样比下是否仍保持有效性？

主要发现

• DE方法在所有七个测试的SISR架构在基准数据集上均提升了性能，且PSNR和SSIM未出现退化。
• 在DIV2K数据集上，DE-EDRN模型实现了PSNR 30.07和SSIM 0.8359，与非DE基线（30.26/0.8393）相当。
• 该方法确保了精确可逆性：当DE处理的高分辨率输出通过二维平均池化下采样时，能完美重现原始低分辨率输入。
• 在未使用正则化时，DE算子应用的修正平均幅值为108，而加入λ=100正则化项后，该值降至0.3。
• 在高上采样比（如x16）下观察到棋盘状伪影，表明该方法在大规模分辨率提升中可能存在局限性。
• 该方法成功应用于包括气象雷达、卫星影像和气候模型输出在内的科学数据集，确保了物理一致性与大尺度统计量的守恒。