[论文解读] Multi-Scale Denoising in the Feature Space for Low-Light Instance Segmentation

Joanne Lin, Nantheera Anantrasirichai+1 more|arXiv (Cornell University)|Feb 28, 2024

Image Processing Techniques and Applications被引用 4

一句话总结

该论文提出了一种端到端的低光照实例分割方法，通过将加权非局部（NL）模块整合到Mask R-CNN的特征提取器中，实现在无需预处理或配对真实标签的情况下，内在地进行特征级去噪。该方法在预训练Mask R-CNN的基础上实现了+10.0的AP提升，加入加权NL模块后进一步获得+1.0的AP增益，显著提升了在真实低光照条件下小尺寸和噪声较大的目标的性能。

ABSTRACT

Instance segmentation for low-light imagery remains largely unexplored due to the challenges imposed by such conditions, for example shot noise due to low photon count, color distortions and reduced contrast. In this paper, we propose an end-to-end solution to address this challenging task. Our proposed method implements weighted non-local blocks (wNLB) in the feature extractor. This integration enables an inherent denoising process at the feature level. As a result, our method eliminates the need for aligned ground truth images during training, thus supporting training on real-world low-light datasets. We introduce additional learnable weights at each layer in order to enhance the network's adaptability to real-world noise characteristics, which affect different feature scales in different ways. Experimental results on several object detectors show that the proposed method outperforms the pretrained networks with an Average Precision (AP) improvement of at least +7.6, with the introduction of wNLB further enhancing AP by upto +1.3.

研究动机与目标

• 为解决真实世界低光照sRGB图像中实例分割方法鲁棒性不足的问题，这些图像普遍存在噪声、对比度低和色彩失真。
• 通过使模型在训练过程中能够内在地对特征进行去噪，消除对低光照图像增强（LLIE）等预处理步骤的依赖。
• 提升对小尺寸目标的性能，这些目标在低光照条件下尤其容易受噪声影响。
• 通过在NL模块中引入可学习权重，使方法能够泛化于不同特征尺度下的噪声特性。
• 在无需配对正常光照图像的情况下，有效利用合成低光照数据进行训练，从而支持真实世界数据集的应用。

提出的方法

• 将加权非局部（NL）模块集成到Mask R-CNN主干网络中，实现在特征提取过程中进行特征级去噪。
• 采用改进的NL操作，为每个特征尺度引入可学习权重，以自适应地抑制在空间和通道维度上变化的噪声。
• 在NL模块中使用嵌入高斯相似度函数，计算类似注意力的权重，增强特征表示的鲁棒性。
• 在通过模拟低光子计数和光照减弱从COCO数据集生成的合成低光照数据集上，端到端训练模型。
• 通过直接学习对特征进行去噪，避免显式预处理，使模型能够直接推理真实低光照sRGB图像。
• 采用FPN的多尺度特征融合策略，以保留空间细节，尤其针对小尺寸目标。

(a)

实验结果

研究问题

• RQ1 深度学习模型是否能够在不依赖LLIE方法预处理的情况下，实现在低光照条件下的鲁棒实例分割？
• RQ2 使用加权非局部模块进行特征级去噪，在提升低光照图像实例分割性能方面有多有效？
• RQ3 在NL模块中引入可学习权重是否能增强对特征图中特定尺度噪声特性的适应能力？
• RQ4 与先使用LLIE再进行实例分割的两阶段流水线相比，所提方法在准确性和鲁棒性方面表现如何？
• RQ5 该方法在提升小尺寸目标性能方面达到何种程度，这些目标在低光照条件下受噪声影响最大？

主要发现

• 在合成低光照数据上训练时，所提方法相比标准预训练Mask R-CNN实现了+10.0的平均精度（AP）提升。
• 加入加权NL模块后，额外获得+1.0的AP增益，证明其在噪声抑制和特征优化方面的有效性。
• 该方法优于使用最先进LLIE模型（如RetinexFormer、Zero-DCE++）的两阶段方法，避免了增强图像中噪声的放大。
• NL模块的嵌入高斯变体在所有测试变体中表现最佳，达到16.6的AP，可能得益于其自注意力机制。
• 该方法在所有AP指标（包括AP_S、AP_M和AP_L）上均表现出一致提升，表明对小、中、大尺寸目标均具有更强的鲁棒性。
• 视觉结果证实，该方法能够成功分割小尺寸和远距离目标（如远处的小奶牛），而基线模型在高噪声条件下会失败。

(b)