[论文解读] RestoreDet: Degradation Equivariant Representation for Object Detection in Low Resolution Images

Ziteng Cui, Yingying Zhu+6 more|arXiv (Cornell University)|Jan 7, 2022

Advanced Image Processing Techniques被引用 4

一句话总结

RestoreDet 是一种新颖的端到端框架，通过在随机退化图像对之间进行自监督对比学习，学习退化等变表示，实现对低分辨率、退化图像的物体检测。它集成了任意分辨率恢复解码器以保留高保真细节，在无需推理时显式图像恢复的情况下，于多种退化条件下实现了最先进的检测精度和推理速度。

ABSTRACT

Image restoration algorithms such as super resolution (SR) are indispensable pre-processing modules for object detection in degraded images. However, most of these algorithms assume the degradation is fixed and known a priori. When the real degradation is unknown or differs from assumption, both the pre-processing module and the consequent high-level task such as object detection would fail. Here, we propose a novel framework, RestoreDet, to detect objects in degraded low resolution images. RestoreDet utilizes the downsampling degradation as a kind of transformation for self-supervised signals to explore the equivariant representation against various resolutions and other degradation conditions. Specifically, we learn this intrinsic visual structure by encoding and decoding the degradation transformation from a pair of original and randomly degraded images. The framework could further take the advantage of advanced SR architectures with an arbitrary resolution restoring decoder to reconstruct the original correspondence from the degraded input image. Both the representation learning and object detection are optimized jointly in an end-to-end training fashion. RestoreDet is a generic framework that could be implemented on any mainstream object detection architectures. The extensive experiment shows that our framework based on CenterNet has achieved superior performance compared with existing methods when facing variant degradation situations. Our code would be released soon.

研究动机与目标

• 为解决物体检测器在低分辨率或退化图像上性能下降的问题，该问题源于预处理恢复模块中退化假设不匹配。
• 开发一种通用的端到端框架，联合优化表示学习与物体检测，而无需依赖固定退化模型。
• 利用随机下采样变换产生的自监督信号，学习鲁棒的、与退化无关的特征表示。
• 通过任意分辨率恢复解码器（ARRD）集成先进的超分辨率架构，监督特征学习以提升检测性能。
• 在推理过程中无需显式重建高分辨率图像，实现高检测精度和高效推理。

提出的方法

• 该框架使用随机退化变换 $ t $，由下采样比例 $ s $、模糊核 $ k $ 和噪声水平 $ n $ 定义，从高分辨率输入生成退化后的低分辨率图像。
• 训练一个变换解码器 $ D_t $，从原始图像与退化图像对的编码特征中重建退化变换 $ t $，在表示空间中强制实现等变性。
• 引入任意分辨率恢复解码器（ARRD）$ D_r $，从退化表示中重建原始高分辨率图像，引导编码器保留细粒度结构细节。
• 编码器 $ E $、变换解码器 $ D_t $、恢复解码器 $ D_r $ 和物体检测头 $ D_o $ 以端到端方式联合优化。
• 推理时仅使用编码器 $ E $ 和检测头 $ D_o $，避免显式图像恢复，从而实现更快推理。
• 训练数据包括从均匀分布中采样的随机退化图像，其中 $ s \in [1,4] $，$ k \in \{k_{\text{iso}}, k_{\text{aniso}}, k_{\text{none}}\} $，噪声方差 $ \sim U(0, 25/255) $。

实验结果

研究问题

• RQ1 通过退化变换进行自监督学习，能否提升在退化未知或可变的低分辨率图像中的物体检测鲁棒性？
• RQ2 与使用固定退化超分辨率模型进行预处理相比，学习退化等变表示在检测精度和推理效率方面表现如何？
• RQ3 任意分辨率恢复解码器在不显式重建图像的前提下，能在多大程度上提升下游检测的特征表示质量？
• RQ4 联合优化表示学习与检测是否优于先预处理后检测的串行方式？
• RQ5 该框架能否在不事先知晓退化模型的情况下，泛化到真实世界退化模式？

主要发现

• 使用变换解码器（w/ $ D_t $）的 RestoreDet 在 KITTI 数据集上达到 80.5% AP，优于基线 CenterNet（42.2% AP）以及仅使用 ARRD 或 $ D_t $ 的模型。
• 完整版 RestoreDet（w/ $ D_t $ 和 $ D_r $）在所有对比方法中实现了最高的检测精度和最快的推理速度（FPS），包括使用预处理超分辨率模块的方法。
• 在 COCO 数据集上，固定下采样（2× 和 4×）条件下，RestoreDet 无需微调即可保持 SOTA 性能，展现出对未见退化水平的强大泛化能力。
• ARRD 生成的输出在机器视觉友好性方面表现更优，细节更清晰，伪影更少，尤其在物体中心区域表现突出。
• 消融实验表明，$ D_t $ 和 $ D_r $ 均对性能有显著贡献，其中 $ D_t $ 提升了鲁棒性，$ D_r $ 增强了特征保真度。
• 该方法在小物体检测上表现更优，同时保持对大物体的良好检测性能，而传统预处理方法会降低大物体的检测质量。