[论文解读] Scale-Agnostic Super-Resolution in MRI using Feature-Based Coordinate Networks

Dave Van Veen, Rogier van der Sluijs+10 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出一种用于MRI的尺度无关超分辨率框架，采用坐标网络解码器，使模型在训练后能够实现任意分辨率的推理。该方法在性能上与最先进卷积网络相当，且在VIF等感知质量指标上表现更优，并在噪声MRI环境下验证了早停和去噪正则化的有效性。

ABSTRACT

We propose using a coordinate network decoder for the task of super-resolution in MRI. The continuous signal representation of coordinate networks enables this approach to be scale-agnostic, i.e. one can train over a continuous range of scales and subsequently query at arbitrary resolutions. Due to the difficulty of performing super-resolution on inherently noisy data, we analyze network behavior under multiple denoising strategies. Lastly we compare this method to a standard convolutional decoder using both quantitative metrics and a radiologist study implemented in Voxel, our newly developed tool for web-based evaluation of medical images.

研究动机与目标

• 解决由于卷积网络归纳偏置导致的MRI固定尺度超分辨率的局限性。
• 通过解耦训练与推理阶段的尺度，实现对多样化、非均匀分辨率数据的训练。
• 研究正则化策略（尤其是早停和去噪）在噪声MRI数据中对坐标网络的影响。
• 通过放射科医生读者研究，超越定量指标评估性能，以评估临床相关性。
• 证明坐标网络在保留高频细节和减少噪声放大方面优于标准卷积解码器。

提出的方法

• 使用坐标网络作为解码器，通过多层感知机将空间坐标映射为像素值，实现连续的、尺度无关的推理。
• 在从1×到2×的连续尺度范围内下采样低分辨率MRI输入进行训练，使模型可在任意分辨率下推理而无需重新训练。
• 在训练过程中引入去噪正则化项，通过超参数λ抑制高频分量中的噪声放大。
• 将早停作为正则化技术，防止模型因归纳偏置有限而过度拟合噪声，尤其对坐标网络至关重要。
• 在相同编码器和训练协议下，将坐标网络解码器与标准卷积解码器进行对比。
• 使用Voxel平台开展基于网络的放射科医生读者研究，评估图像感知质量与诊断相关性。

实验结果

研究问题

• RQ1 坐标网络能否实现尺度无关的MRI超分辨率，从而解耦训练与推理分辨率？
• RQ2 早停和去噪等正则化技术如何影响坐标网络在噪声MRI数据上的性能？
• RQ3 坐标网络解码器在感知图像质量与高频细节保留方面是否优于标准卷积解码器？
• RQ4 PSNR和VIF等定量指标在多大程度上与放射科医生对临床图像质量的偏好一致？
• RQ5 基于Voxel平台的网络读者研究能否提供超越标准图像保真度指标的临床有意义评估？

主要发现

• 坐标网络解码器的PSNR与卷积解码器相当（略低），但VIF显著更高，表明其在保留高频细节方面更优。
• 引入去噪正则化（λ ≠ 0）的坐标网络优于无正则化的版本，有效减少噪声放大并提升感知质量。
• 早停显著提升了坐标网络的性能，延长训练后PSNR明显下降，表明其对噪声存在过拟合现象。
• 尽管PSNR较低，放射科医生在锐度和噪声方面更偏好坐标网络输出，凸显感知质量的临床意义。
• 坐标网络的尺度无关特性使其可在不重新训练的情况下查询任意分辨率（如4×），即使训练时仅使用1–2×尺度。
• 卷积解码器未从去噪正则化中获益，表明其归纳偏置本身已具备去噪能力，与坐标网络不同。