[论文解读] ShipSRDet: An End-to-End Remote Sensing Ship Detector Using Super-Resolved Feature Representation

Shitian He, Huanxin Zou+3 more|arXiv (Cornell University)|Mar 17, 2021

Advanced Image Processing Techniques参考文献 12被引用 4

一句话总结

本文提出 ShipSRDet，一种端到端深度学习框架，通过融合超分辨率（SR）与检测网络的中间特征，联合优化图像超分辨率（SR）和船舶检测。通过整合超分辨率图像与特征表示，ShipSRDet 在 HRSC 数据集上实现了 64.50% 的 mAP，几乎与在真实高分辨率图像上检测的 68.80% mAP 相当，表明来自 SR 的特征级知识迁移可显著提升检测性能，超越仅依赖图像级 SR 的效果。

ABSTRACT

High-resolution remote sensing images can provide abundant appearance information for ship detection. Although several existing methods use image super-resolution (SR) approaches to improve the detection performance, they consider image SR and ship detection as two separate processes and overlook the internal coherence between these two correlated tasks. In this paper, we explore the potential benefits introduced by image SR to ship detection, and propose an end-to-end network named ShipSRDet. In our method, we not only feed the super-resolved images to the detector but also integrate the intermediate features of the SR network with those of the detection network. In this way, the informative feature representation extracted by the SR network can be fully used for ship detection. Experimental results on the HRSC dataset validate the effectiveness of our method. Our ShipSRDet can recover the missing details from the input image and achieves promising ship detection performance.

研究动机与目标

• 为解决现有基于 SR 的船舶检测方法将超分辨率与检测视为独立、非交互过程的局限性。
• 探究超分辨率网络的中间特征表示是否可在仅使用超分辨率图像之外，进一步提升船舶检测性能。
• 设计一种端到端可训练的框架，通过特征级融合联合优化图像超分辨率与船舶检测。
• 验证超分辨率特征表示在提升遥感图像检测精度方面的有效性。
• 证明 SR 与检测网络之间的特征级集成相比仅图像级 SR 可带来性能提升。

提出的方法

• 该方法采用双分支架构：基于残差密集块（RDBs）的超分辨率（SR）模块，以及基于 SSD 和 VGG-16 主干网络的检测模块。
• SR 模块生成超分辨率图像，并输出两个中间特征：一个来自低分辨率输入（$\mathcal{F}^{LR}_{out}$），一个来自高分辨率输出（$\mathcal{F}^{HR}_{out}$），两者均为 64 通道。
• 检测模块通过将 $\mathcal{F}^{LR}_{out}$ 和 $\mathcal{F}^{HR}_{out}$ 分别投影到 256 和 64 通道，实现与 VGG-16 特征维度的对齐。
• 将对齐后的特征分别添加到 VGG-16 网络的第 2 层和第 7 层，实现跨网络的特征融合，以提升检测表征能力。
• 整个网络采用端到端训练，联合优化 SR 与检测目标，使 SR 网络能够自适应学习检测相关的细节。
• 采用子像素卷积层进行特征上采样，并应用跳跃连接以稳定训练并保留低级细节。

Fig. 1 : Visual results achieved by our ShipSRDet on the HRSC dataset [ 7 ] . Our method recovers missing details in the input image and achieves promising detection performance.

实验结果

研究问题

• RQ1 超分辨率网络的中间特征表示是否可在仅使用超分辨率图像之外，进一步提升遥感船舶检测性能？
• RQ2 超分辨率与检测的端到端联合训练，与预训练 SR 后再单独微调检测的策略相比，性能如何？
• RQ3 SR 与检测网络之间的特征级融合对遥感图像检测 mAP 的贡献有多大？
• RQ4 与使用双三次插值或预训练 SR 网络的基线方法相比，所提方法的性能如何？
• RQ5 与在真实高分辨率图像上检测所能达到的上限（68.80% mAP）相比，特征融合的 SR 在多大程度上提升了检测精度？

主要发现

• ShipSRDet 在 HRSC 数据集上实现了 64.50% 的平均精度（mAP），显著优于基线方法 Bicubic+SSD（58.80%）和预训练 SRnet+SSD（60.10%）。
• 对 SRnet+SSD 变体进行端到端微调后，mAP 提升 3.70% 至 63.80%，表明检测驱动的 SR 学习具有显著优势。
• 与 (SRnet+SSD)_ft 相比，ShipSRDet 所提出的特征融合进一步带来了 0.70% 的 mAP 提升，证明中间特征融合可进一步增强检测性能。
• 该方法在性能上接近在真实高分辨率图像上检测所能达到的上限 68.80% mAP，表明具有强大的性能恢复能力。
• 可视化结果表明，与双三次插值相比，ShipSRDet 能够更好地恢复低分辨率输入中的细节，减少误报和漏检。
• ShipSRDet 的平均推理时间为每张 128×128 图像 190 ms，略高于在高分辨率图像上直接检测的 81 ms，表明为获得显著的精度提升，付出了较小的效率代价。

Fig. 2 : An overview of our ShipSRDet .