[论文解读] Revisiting Image Pyramid Structure for High Resolution Salient Object Detection

Taehun Kim, Kunhee Kim+4 more|arXiv (Cornell University)|Sep 20, 2022

Visual Attention and Saliency Detection被引用 7

一句话总结

该论文提出 InSPyReNet，一种基于图像金字塔的新型显著性检测框架，可在无需高分辨率（HR）训练数据集的情况下实现高分辨率（HR）显著物体检测。通过强制执行严格的显著图金字塔结构，并引入一种融合低分辨率（LR）与高分辨率（HR）尺度预测结果的金字塔融合技术，InSPyReNet 在高分辨率基准上实现了最先进性能，同时在低分辨率数据集上保持了鲁棒性，显著提升了边界准确率与细节保留能力。

ABSTRACT

Salient object detection (SOD) has been in the spotlight recently, yet has been studied less for high-resolution (HR) images. Unfortunately, HR images and their pixel-level annotations are certainly more labor-intensive and time-consuming compared to low-resolution (LR) images and annotations. Therefore, we propose an image pyramid-based SOD framework, Inverse Saliency Pyramid Reconstruction Network (InSPyReNet), for HR prediction without any of HR datasets. We design InSPyReNet to produce a strict image pyramid structure of saliency map, which enables to ensemble multiple results with pyramid-based image blending. For HR prediction, we design a pyramid blending method which synthesizes two different image pyramids from a pair of LR and HR scale from the same image to overcome effective receptive field (ERF) discrepancy. Our extensive evaluations on public LR and HR SOD benchmarks demonstrate that InSPyReNet surpasses the State-of-the-Art (SotA) methods on various SOD metrics and boundary accuracy.

研究动机与目标

• 解决在不依赖昂贵高分辨率（HR）训练数据或复杂架构的情况下，实现高分辨率（HR）显著物体检测（SOD）的挑战。
• 克服现有 SOD 方法中低分辨率（LR）与高分辨率（HR）输入之间有效感受野（ERF）不一致的问题。
• 设计一种网络架构，生成严格结构化的显著图金字塔，以实现稳定、高质量的图像融合。
• 通过推理阶段创新的金字塔融合策略，融合多尺度显著图预测，实现高保真度的高分辨率预测。
• 仅使用低分辨率（LR）训练数据，在高分辨率与低分辨率 SOD 基准上均实现最先进性能。

提出的方法

• 提出逆显著图金字塔重建网络（InSPyReNet），显式预测多尺度显著图金字塔，以确保各尺度间结构一致性。
• 设计一种监督策略，强制实现严格的金字塔结构，从而在不同尺度间实现稳定的图像融合。
• 引入一种金字塔融合技术，将同一图像在低分辨率（LR）与高分辨率（HR）尺度下的显著图进行融合，以缓解有效感受野（ERF）差异。
• 使用单一网络预测多尺度输出，再通过图像金字塔融合重建高分辨率预测结果。
• 采用多阶段解码器，通过在每个尺度上预测显著图的拉普拉斯金字塔，隐式学习高频细节。
• 利用图像金字塔的固有多尺度表征能力，在无需额外训练或监督的情况下增强细粒度细节。

实验结果

研究问题

• RQ1 在显著图预测中采用严格的图像金字塔结构，是否能在不使用高分辨率（HR）训练数据的情况下，实现更准确、更稳定的高分辨率（HR）显著性检测？
• RQ2 在不重新训练高分辨率（HR）数据的情况下，如何有效缓解显著性检测（SOD）中低分辨率（LR）与高分辨率（HR）输入之间的有效感受野（ERF）差异？
• RQ3 通过单个网络的多尺度预测进行基于金字塔的融合，是否能提升高分辨率（HR）SOD 中的边界准确率与细节保留能力？
• RQ4 强制实现结构化的显著图金字塔是否能相比现有最先进方法，在高分辨率（HR）与低分辨率（LR）基准上均实现更好的泛化能力与性能表现？
• RQ5 轻量级、单网络方法是否能在高分辨率（HR）SOD 中超越复杂、多阶段的专用高分辨率架构？

主要发现

• InSPyReNet 在 HRSOD-TE 基准上达到最先进性能，F-measure 为 0.952，MAE 为 0.016，优于先前方法。
• 在 UHRSD-TE 基准上，InSPyReNet 的 F-measure 达到 0.938，MAE 为 0.029，展现出更优的边界准确率与细节保留能力。
• 该方法在 HRSOD-TE 测试集上将 MAE 降低至 0.009，显著低于次优方法（0.012），表明预测精度显著提升。
• InSPyReNet 在 HRSOD-TE 上实现 S-measure 0.959，较之前最先进方法提升 0.023 分，表现更优。
• 定性结果表明，InSPyReNet 有效保留了精细细节，并在复杂场景中显著减少了误检，尤其在金字塔融合后效果更明显。
• 该方法在 DUTS-TR 等低分辨率基准上仍保持强劲性能，表明其在不同输入分辨率下具备出色的泛化能力。