[论文解读] Multi-Scale Structural-aware Exposure Correction for Endoscopic Imaging

Axel Garcia-Vega, Ricardo Espinosa+6 more|arXiv (Cornell University)|Oct 26, 2022

Image Enhancement Techniques被引用 4

一句话总结

本文提出了一种多尺度、结构感知的深度学习方法，用于内镜成像中的实时曝光校正，通过在LMSPEC损失函数中引入结构相似性（SSIM）感知项，以保留精细纹理和色彩。在Endo4IE数据集上，该方法在过曝和欠曝图像上的相对SSIM分别提升了4.40%和4.21%，同时保持了较低的推理时间。

ABSTRACT

Endoscopy is the most widely used imaging technique for the diagnosis of cancerous lesions in hollow organs. However, endoscopic images are often affected by illumination artefacts: image parts may be over- or underexposed according to the light source pose and the tissue orientation. These artifacts have a strong negative impact on the performance of computer vision or AI-based diagnosis tools. Although endoscopic image enhancement methods are greatly required, little effort has been devoted to over- and under-exposition enhancement in real-time. This contribution presents an extension to the objective function of LMSPEC, a method originally introduced to enhance images from natural scenes. It is used here for the exposure correction in endoscopic imaging and the preservation of structural information. To the best of our knowledge, this contribution is the first one that addresses the enhancement of endoscopic images using deep learning (DL) methods. Tested on the Endo4IE dataset, the proposed implementation has yielded a significant improvement over LMSPEC reaching a SSIM increase of 4.40% and 4.21% for over- and underexposed images, respectively.

研究动机与目标

• 为解决内镜成像中光照伪影——过曝和欠曝——带来的关键挑战，这些伪影会降低基于人工智能的诊断工具性能。
• 开发一种实时、基于深度学习的图像增强方法，可在校正曝光的同时保留内镜场景中的结构和纹理细节。
• 扩展LMSPEC框架，引入结构相似性感知损失函数，以减轻先前方法引入的纹理和色彩伪影。
• 在Endo4IE数据集上评估所提方法，重点关注过曝和欠曝区域的定量指标与定性保真度。
• 实现适用于计算机辅助内镜系统临床部署的鲁棒且可泛化的增强效果。

提出的方法

• 通过在LMSPEC损失函数中引入结构相似性（SSIM）项，扩展其功能，以在曝光校正过程中优先保留精细纹理和空间细节。
• 采用两阶段训练策略：首先在128×128图像块上进行训练，然后在256×256图像块上使用迁移权重进行微调，以提升特征学习能力。
• 在第二阶段中，于指定的判别器起始训练轮次（DSE）激活判别器，以稳定基于GAN的训练并提升图像的真实性。
• 在欠曝（UE）、过曝（OE）和合并（C）数据子集上分别训练三个独立模型，并针对每个子集调优超参数以最大化性能。
• 最终模型采用微调后的配置，优化学习率、批量大小和训练轮次，实现对各类曝光类型的更好泛化能力。
• 该方法采用基于U-Net的生成器并结合对抗训练，通过多尺度SSIM损失增强，以维持感知质量。

Figure 1 : Strong illumination change example in almost consecutive frames of a colonoscopic image sequence. (a) This image was acquired in appropriate lighting conditions. (b) Few frames later, the image is overexposed in its lower left region and underexposed in the remaining frame part.

实验结果

研究问题

• RQ1 与标准LMSPEC相比，结构相似性感知损失函数是否能提升内镜图像曝光校正中的纹理和细节保留效果？
• RQ2 所提方法在SSIM和PSNR指标上是否均优于LMSPEC，适用于过曝和欠曝的内镜图像？
• RQ3 该方法是否能在提升图像质量的同时保持实时推理速度（如>8 FPS）？
• RQ4 在不同图像块尺寸上进行多尺度训练，如何影响模型在多样化光照伪影下的泛化能力？
• RQ5 与基线LMSPEC相比，该方法在真实内镜序列中在减少色彩和纹理伪影方面达到何种程度？

主要发现

• 在Endo4IE数据集上，与基线LMSPEC模型相比，所提方法在过曝图像上的SSIM实现了4.40%的相对提升。
• 对于欠曝图像，该方法相比LMSPEC实现了4.21%的相对SSIM提升，表明其在保留精细结构细节方面更具优势。
• 在合并数据（C）上训练并经超参数微调的模型整体性能最高，在所有指标上均优于LMSPEC和基线模型。
• 定性结果表明，与LMSPEC相比，所提方法生成的图像更具真实感且无伪影，尤其在纹理区域表现更优。
• 尽管有所改进，该模型在部分增强图像中仍存在轻微色相偏移，提示需引入额外的色彩保留损失。
• 该方法实现了8 FPS的推理吞吐量，表明具备中等实时性能，但为临床部署仍需进一步优化。

Figure 2 : DL-mode. On the left: Laplacian pyramid decomposition over patches I’ with exposure artefacts and Gaussian pyramid decomposition over ground truth patches T . On the right: $\pazocal{L}_{pyr}$ is computed with the up-sampled output from sub-networks 1 , 2 and 3 , whereas $\pazocal{L}_{rec