[论文解读] PE-YOLO: Pyramid Enhancement Network for Dark Object Detection

Xiangchen Yin, Zhenda Yu+3 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 PE-YOLO，一种端到端的暗光目标检测框架，通过将金字塔增强网络（PENet）与 YOLOv3 结合，提升低光照条件下的检测性能。PENet 利用拉普拉斯金字塔分解、包含上下文分支与边缘分支的细节处理模块（DPM），以及低频增强滤波器（LEF），实现细节恢复与噪声抑制，在 ExDark 数据集上达到 78.0% mAP 和 53.6 FPS，且无需额外监督。

ABSTRACT

Current object detection models have achieved good results on many benchmark datasets, detecting objects in dark conditions remains a large challenge. To address this issue, we propose a pyramid enhanced network (PENet) and joint it with YOLOv3 to build a dark object detection framework named PE-YOLO. Firstly, PENet decomposes the image into four components of different resolutions using the Laplacian pyramid. Specifically we propose a detail processing module (DPM) to enhance the detail of images, which consists of context branch and edge branch. In addition, we propose a low-frequency enhancement filter (LEF) to capture low-frequency semantics and prevent high-frequency noise. PE-YOLO adopts an end-to-end joint training approach and only uses normal detection loss to simplify the training process. We conduct experiments on the low-light object detection dataset ExDark to demonstrate the effectiveness of ours. The results indicate that compared with other dark detectors and low-light enhancement models, PE-YOLO achieves the advanced results, achieving 78.0% in mAP and 53.6 in FPS, respectively, which can adapt to object detection under different low-light conditions. The code is available at https://github.com/XiangchenYin/PE-YOLO.

研究动机与目标

• 为解决现有模型因图像质量差而在低光照条件下性能下降的挑战。
• 开发一种轻量化、可端到端训练的框架，无需成对的真实图像即可增强低光照图像。
• 通过捕捉高频细节与低频语义信息，提升暗光场景中的特征表示能力。
• 在暗光目标检测中实现高检测精度与实时推理速度。

提出的方法

• PENet 使用拉普拉斯金字塔将输入图像分解为四个分辨率层级，以实现多尺度特征增强。
• 细节处理模块（DPM）由捕捉长距离依赖关系的上下文分支和增强纹理细节的边缘分支组成。
• 低频增强滤波器（LEF）应用动态低通滤波器，提取富含语义的低频分量并抑制高频噪声。
• PE-YOLO 仅使用标准检测损失联合训练 PENet 与 YOLOv3，实现无需辅助监督的端到端优化。
• 该框架在多个金字塔层级处理特征，融合增强后的表示后再进行检测。
• 模型在 ExDark 数据集上使用标准 YOLOv3 损失函数进行端到端训练，避免了对成对低光照与正常光照图像的需求。

Figure 1: Example of dark object detection. In dark conditions PE-YOLO can recover more potential information of object to get better detection results.

实验结果

研究问题

• RQ1 基于多尺度金字塔的增强网络是否能提升低光照条件下的目标检测性能？
• RQ2 具有独立上下文分支与边缘分支的细节处理模块在低照度条件下恢复图像细节的效率如何？
• RQ3 低频语义增强在不放大噪声的前提下，能在多大程度上提升检测精度？
• RQ4 仅使用检测损失的端到端训练策略能否在暗光目标检测中达到最先进性能？

主要发现

• PE-YOLO 在 ExDark 数据集上达到 78.0% mAP，优于 YOLOv3、DENet、IAT-YOLO 等最先进的暗光检测器。
• 模型达到 53.6 FPS，尽管增加了增强模块，仍展现出强大的实时推理能力。
• 消融实验表明，各组件（上下文分支、边缘分支、LEF）对 mAP 的提升呈累积效应，完整模型达到 78.0%。
• 同时包含上下文与边缘分支的 DPM 相较基线 YOLOv3 提升 mAP 1.6 个百分点。
• 与仅使用 DPM 相比，LEF 组件使 mAP 提升 0.4 个百分点，证实其在保持语义一致性方面的作用。
• 可视化对比显示，与 MBLLEN 和 Zero-DCE 相比，PE-YOLO 更好地抑制了噪声，从而在暗光场景中实现更精确的检测。

Figure 2: Overview of PE-YOLO. We use detail processing module (DPM) and low-frequency enhancement filter (LEF) to enhance the images.