[论文解读] NOD: Taking a Closer Look at Detection under Extreme Low-Light Conditions with Night Object Detection Dataset

Igor Morawski, Yuan Chen+2 more|arXiv (Cornell University)|Oct 20, 2021

Impact of Light on Environment and Health被引用 13

一句话总结

本文提出了NOD数据集，这是一个大规模、高质量的夜间城市场景数据集，包含极端与非极端低光照条件下的实例级标注。该研究提出了一种检测-增强联合框架，将基于学习的图像增强模块与目标检测器联合训练，并引入新颖的数据增强技术，在多个检测器和低光照基准上实现了稳定的性能提升，尤其在极端光照挑战下表现突出。

ABSTRACT

Recent work indicates that, besides being a challenge in producing perceptually pleasing images, low light proves more difficult for machine cognition than previously thought. In our work, we take a closer look at object detection in low light. First, to support the development and evaluation of new methods in this domain, we present a high-quality large-scale Night Object Detection (NOD) dataset showing dynamic scenes captured on the streets at night. Next, we directly link the lighting conditions to perceptual difficulty and identify what makes low light problematic for machine cognition. Accordingly, we provide instance-level annotation for a subset of the dataset for an in-depth evaluation of future methods. We also present an analysis of the baseline model performance to highlight opportunities for future research and show that low light is a non-trivial problem that requires special attention from the researchers. Further, to address the issues caused by low light, we propose to incorporate an image enhancement module into the object detection framework and two novel data augmentation techniques. Our image enhancement module is trained under the guidance of the object detector to learn image representation optimal for machine cognition rather than for the human visual system. Finally, experimental results confirm that the proposed method shows consistent improvement of the performance on low-light datasets.

研究动机与目标

• 为解决当前模型在极端低光照条件下无法统一处理的非平凡挑战。
• 提供一个大规模、高质量的数据集，包含细粒度的光照条件标注（极端 vs. 非极端低光照），用于基准测试。
• 分析低光照条件导致检测器性能下降的深层原因，超越简单的数据稀缺问题，识别出根本性的感知困难。
• 开发一种联合学习框架，通过增强图像以提升机器认知能力而非人类视觉感知，从而提升在低光照场景下的鲁棒性。
• 提出专为低光照目标检测设计的数据增强技术，以提升模型泛化能力与性能。

提出的方法

• NOD数据集从真实夜间场景中采集，对行人、自行车和汽车等实例进行标注，并包含极端与非极端低光照的实例级光照条件标签。
• 提出一种新型图像增强模块，与目标检测器端到端联合训练，优化目标检测性能而非视觉质量，仅使用边界框标注进行训练。
• 提出两种新型数据增强技术：块混洗增强与逐块光照增强，旨在训练过程中模拟真实的低光照变化。
• 将增强模块集成到目标检测流程中（如RetinaNet、Faster R-CNN、FCOS、PAA），实现图像表征与检测头的联合优化。
• 在NOD的Sony与Nikon子集以及ExDark基准上进行训练与评估，性能采用标准AP指标衡量。
• 该方法不依赖成对的低光照/正常光照图像数据，适用于动态、真实世界场景。

实验结果

研究问题

• RQ1 哪些特定光照条件——极端 vs. 非极端低光照——对目标检测器构成不同的挑战？
• RQ2 为何仅在低光照数据上进行训练仍无法弥合极端与非极端低光照条件之间的性能差距？
• RQ3 能否通过与目标检测器联合训练的基于学习的图像增强模块，提升在极端低光照条件下的检测准确率？
• RQ4 如块混洗与逐块光照增强等新型数据增强策略，如何影响模型在低光照检测中的泛化能力？
• RQ5 所提出的检测-增强联合框架在不同目标检测架构上是否均有效？

主要发现

• 即使在NOD数据集上进行微调后，极端与非极端低光照条件之间的性能差距依然显著，表明极端低光照是一个独特且具有挑战性的问题。
• 当在RetinaNet中引入增强模块时，Sony子集的AP50提升1.3%（从72.8%提升至74.1%），表现出显著的绝对性能增益。
• 该方法在多个检测器上均一致提升性能，包括Faster R-CNN（AP50提升+2.6%）、FCOS（AP50提升+1.9%）与PAA（AP50提升+1.4%）。
• 尽管未使用成对数据进行训练，该增强模块在联合检测性能上仍优于SOTA低光照增强方法（如KinD++）。
• 块混洗与逐块光照增强技术显著提升了模型在极端光照条件下的鲁棒性与泛化能力。
• 本研究证实，低光照目标检测并非标准检测任务的子集，尤其在极端光照条件下，需要专门的建模方法。