[论文解读] SALISA: Saliency-based Input Sampling for Efficient Video Object Detection

Babak Ehteshami Bejnordi, Amirhossein Habibian+2 more|arXiv (Cornell University)|Apr 5, 2022

Visual Attention and Saliency Detection被引用 4

一句话总结

SALISA 提出了一种基于显著性的非均匀输入采样方法，利用可微分的薄板样条空间变换网络（TPS-STN）对高分辨率视频帧进行下采样，同时保留显著区域中的细粒度细节。该方法在显著降低计算成本的同时实现了最先进的检测性能，在 ImageNet-VID 和 UA-DETRAC 数据集上仅使用 EfficientDet-D1 主干网络即达到了与 EfficientDet-D2 相当的 mAP。

ABSTRACT

High-resolution images are widely adopted for high-performance object detection in videos. However, processing high-resolution inputs comes with high computation costs, and naive down-sampling of the input to reduce the computation costs quickly degrades the detection performance. In this paper, we propose SALISA, a novel non-uniform SALiency-based Input SAmpling technique for video object detection that allows for heavy down-sampling of unimportant background regions while preserving the fine-grained details of a high-resolution image. The resulting image is spatially smaller, leading to reduced computational costs while enabling a performance comparable to a high-resolution input. To achieve this, we propose a differentiable resampling module based on a thin plate spline spatial transformer network (TPS-STN). This module is regularized by a novel loss to provide an explicit supervision signal to learn to "magnify" salient regions. We report state-of-the-art results in the low compute regime on the ImageNet-VID and UA-DETRAC video object detection datasets. We demonstrate that on both datasets, the mAP of an EfficientDet-D1 (EfficientDet-D2) gets on par with EfficientDet-D2 (EfficientDet-D3) at a much lower computational cost. We also show that SALISA significantly improves the detection of small objects. In particular, SALISA with an EfficientDet-D1 detector improves the detection of small objects by $77\%$, and remarkably also outperforms EfficientDetD3 baseline.

研究动机与目标

• 解决在视频目标检测中处理高分辨率视频帧带来的高计算成本问题。
• 克服因对高分辨率输入进行简单下采样而导致的性能下降问题。
• 在资源受限设备上实现高效检测，同时不牺牲对小物体或中等物体的检测精度。
• 开发一种可微分的、无失真的重采样机制，通过显式监督聚焦于显著区域。
• 在标准视频目标检测基准上，实现在低计算资源环境下的最先进性能。

提出的方法

• 在第一帧上使用高分辨率检测模型生成指示重要区域的显著性图。
• 应用可微分的薄板样条空间变换网络（TPS-STN）基于显著性引导的空间变换对当前帧进行扭曲和重采样。
• 引入一种新型正则化损失，促使 TPS-STN 模仿非参数化的基于注意力的采样器，确保显著区域的细节保留。
• 通过 TPS 采样网格与基于注意力的网格之间的加权 ℓ₂ 损失，为放大显著内容提供显式监督。
• 对输入进行非均匀下采样——在大幅降低背景区域分辨率的同时，保持显著区域的高分辨率。
• 将空间尺寸更小但保留细节的图像输入轻量化检测器（如 EfficientDet-D1），以减少 FLOPs 同时保持性能。

实验结果

研究问题

• RQ1 非均匀的、基于显著性的输入重采样是否能在降低计算成本的同时实现高检测精度？
• RQ2 如何训练可微分的重采样模块，以在不引入伪影的情况下保留显著区域的细粒度细节？
• RQ3 当使用基于显著性的输入采样时，轻量化检测器（如 EfficientDet-D1）在多大程度上能匹配重检测器（如 EfficientDet-D2 或 D3）的性能？
• RQ4 所提出的方法是否能改善小物体的检测，这些物体在简单下采样过程中常被丢失？
• RQ5 TPS 变换中的控制点数量如何影响重采样输入的质量与鲁棒性？

主要发现

• SALISA 在 UA-DETRAC 上实现了与仅使用 EfficientDet-D1 主干网络的 EfficientDet-D2 相当的 mAP，显著降低了 FLOPs。
• 在 UA-DETRAC 上，SALISA 配合 EfficientDet-D1 将小物体检测性能相比基线 EfficientDet-D1 提升了 77%。
• SALISA 在 UA-DETRAC 上优于 EfficientDet-D3 基线，表明该方法在模型规模扩展之外仍能带来性能提升。
• 当调整区域阈值 α 时，小物体的 mAP 从 13.1%（α=2.0）提升至 14.9%（α=0.5），表明对小物体的关注度得到改善。
• 在 TPS 中使用 1024 个控制点导致 EfficientDet-D1 的 mAP 从 59.1% 下降至 49.5%，表明过度的灵活性会降低性能。
• 将更重的帧检测器（如 D3）与更轻的主干检测器（如 D0）结合，仅带来 0.3% 的 mAP 提升，但 FLOPs 增加了 42%，表明收益递减。