[论文解读] Task-Driven Super Resolution: Object Detection in Low-resolution Images

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Image Processing Techniques被引用 71

一句话总结

这篇论文通过在 SR 训练目标中加入检测损失，将超分辨率网络与对象检测器联训练，从而实现端到端优化，使低分辨率图像上的目标检测性能超越传统的 SR 方法。

ABSTRACT

We consider how image super resolution (SR) can contribute to an object detection task in low-resolution images. Intuitively, SR gives a positive impact on the object detection task. While several previous works demonstrated that this intuition is correct, SR and detector are optimized independently in these works. This paper proposes a novel framework to train a deep neural network where the SR sub-network explicitly incorporates a detection loss in its training objective, via a tradeoff with a traditional detection loss. This end-to-end training procedure allows us to train SR preprocessing for any differentiable detector. We demonstrate that our task-driven SR consistently and significantly improves accuracy of an object detector on low-resolution images for a variety of conditions and scaling factors.

研究动机与目标

• 激励通过 SR 改善低分辨率图像的目标检测，解决 SR 和检测器分别独立训练的空白。
• 提出一个端到端框架，在重建损失之外，使用检测损失来优化 SR。
• 表明任务驱动的 SR 在不同缩放和降级条件下能获得更好的检测准确性。
• 展示该方法在不同 SR 尺度下的鲁棒性，并通过标准基准数据集的实验进行验证。

提出的方法

• 使用 DBPN 作为 SR 骨干网络，对低分辨率输入进行上采样。
• 使用 SSD 作为固定的对象检测器，提供可微分的任务损失。
• 定义复合损失 L = alpha * L_rec + beta * L_task，反向传播通过 SR 模块。
• 将任务损失的梯度通过 S 反向传播，使 SR 产出对检测有利的结果。
• 探索训练计划，包括仅重建预训练、平衡取舍，以及渐进/任务仅微调。

实验结果

研究问题

• RQ1 来自对象检测的可微分任务损失能否引导 SR 提升低分辨率输入的检测？
• RQ2 如何在不过度降低图像质量的前提下，平衡重建损失与任务相关损失以最大化检测器性能？
• RQ3 在各种降级场景下（例如 4x 和 8x 上采样、模糊和噪声），任务驱动的 SR 方法是否优于传统的 SR 和非任务驱动基线？

主要发现

• 任务驱动的 SR 在低分辨率输入上持续提升对象检测器的准确性，相较于传统的 SR 方法和基线。
• 平衡重建与检测损失，即使 PSNR 较低，也能带来更高的检测性能，凸显感知图像质量与任务性能之间的错位。
• 中等的任务聚焦折衷（如小的 beta）通常在可接受的 PSNR 损失下带来显著的 mAP 提升，而纯任务或纯重建策略表现不佳。
• 在额外的降级如模糊和噪声下，该方法仍然有效，并且在这些场景中可超过非任务驱动的 SR 方法。