[论文解读] Stereo Endoscopic Image Super-Resolution Using Disparity-Constrained Parallel Attention

Tianyi Zhang, Yun Gu+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 9被引用 4

一句话总结

本文提出DCSSRnet，一种用于内窥镜立体图像超分的神经网络，通过引入视差约束的并行注意力机制，在超分过程中保持立体对应关系。通过采用空洞视差注意力模块，并强制低分辨率与高分辨率视差图之间的一致性，该方法在腹腔镜图像数据集上达到最先进性能，在PSNR与SSIM指标上均优于现有方法。

ABSTRACT

With the popularity of stereo cameras in computer assisted surgery techniques, a second viewpoint would provide additional information in surgery. However, how to effectively access and use stereo information for the super-resolution (SR) purpose is often a challenge. In this paper, we propose a disparity-constrained stereo super-resolution network (DCSSRnet) to simultaneously compute a super-resolved image in a stereo image pair. In particular, we incorporate a disparity-based constraint mechanism into the generation of SR images in a deep neural network framework with an additional atrous parallax-attention modules. Experiment results on laparoscopic images demonstrate that the proposed framework outperforms current SR methods on both quantitative and qualitative evaluations. Our DCSSRnet provides a promising solution on enhancing spatial resolution of stereo image pairs, which will be extremely beneficial for the endoscopic surgery.

研究动机与目标

• 为解决在内窥镜图像对超分过程中保持立体对应关系的挑战。
• 通过引入低分辨率与高分辨率立体图像之间的视差约束，提升超分质量。
• 开发一种对称的深度学习框架，联合重建左右两侧的超分图像。
• 利用残差空洞空域金字塔池化与符合对极几何的注意力机制增强特征表示。
• 实现更真实、更细节丰富的超分图像，同时保持立体视图间的结构一致性。

提出的方法

• 该方法采用对称的U-Net式架构，从立体图像对中同时生成超分后的左、右图像。
• 使用残差空洞空域金字塔池化（ASPP）模块，以大感受野提取多尺度特征。
• 空洞视差注意力模块（APAM）通过聚合靠近对极线的多条线上特征，生成视差掩码，提升对齐鲁棒性。
• 引入视差约束损失，强制低分辨率与高分辨率图像对之间视差图的一致性。
• 损失函数结合重建损失与基于低分辨率与高分辨率视差掩码差异的正则化项。
• 使用三线性插值对低分辨率视差图进行上采样，以在训练过程中实现一致的监督。

实验结果

研究问题

• RQ1 视差约束能否提升立体内窥镜图像超分的质量？
• RQ2 强制低分辨率与高分辨率视差图之间的一致性，对超分中的结构保真度有何影响？
• RQ3 并行对称网络架构能否有效利用立体对应关系以增强图像重建？
• RQ4 与仅使用单条对极线相比，采用多条线特征聚合是否能提升注意力机制在立体超分中的特征对齐效果？
• RQ5 所提方法在腹腔镜数据上相较于现有单图与立体超分方法，性能提升程度如何？

主要发现

• 所提DCSSRnet在2×缩放下实现PSNR 43.610 dB与SSIM 0.9957，优于所有对比方法，包括PASSR与StereoSR。
• 在4×缩放下，DCSSRnet实现PSNR 35.598 dB与SSIM 0.9809，展现出在高倍率超分中的卓越性能。
• 定性结果表明，DCSSRnet生成的图像边缘更清晰，纹理细节更逼真，优于双三次插值、SRCNN、VDSR、DRRN与PASSR。
• 视差约束机制有效保持了立体对应关系，减少伪影，提升重建图像的结构一致性。
• 当左右图像存在不一致配准时，该方法表现出局限性，表明对立体错位较为敏感。
• 消融实验验证，视差约束损失显著提升性能，证实其在保持立体保真度中的关键作用。