[论文解读] Structure-measure: A New Way to Evaluate Foreground Maps

Deng-Ping Fan, Ming‐Ming Cheng+3 more|arXiv (Cornell University)|Aug 2, 2017

Visual Attention and Saliency Detection参考文献 42被引用 109

一句话总结

论文提出 Structure-measure，一种用于非二值前景图的两部分结构相似性评分，能够捕捉区域级和对象级结构，并在多个数据集和元评估中展示其优于 AP、AUC 和 Fbw。

ABSTRACT

Foreground map evaluation is crucial for gauging the progress of object segmentation algorithms, in particular in the filed of salient object detection where the purpose is to accurately detect and segment the most salient object in a scene. Several widely-used measures such as Area Under the Curve (AUC), Average Precision (AP) and the recently proposed Fbw have been utilized to evaluate the similarity between a non-binary saliency map (SM) and a ground-truth (GT) map. These measures are based on pixel-wise errors and often ignore the structural similarities. Behavioral vision studies, however, have shown that the human visual system is highly sensitive to structures in scenes. Here, we propose a novel, efficient, and easy to calculate measure known an structural similarity measure (Structure-measure) to evaluate non-binary foreground maps. Our new measure simultaneously evaluates region-aware and object-aware structural similarity between a SM and a GT map. We demonstrate superiority of our measure over existing ones using 5 meta-measures on 5 benchmark datasets.

研究动机与目标

• 通过考虑超越像素级误差的对象结构，激励对前景图更可靠的评估。
• 提出一个捕捉区域级和对象级信息的两分量结构相似性度量。
• 证明所提度量在跨数据集的应用排序和人工判断上与之更一致。

提出的方法

• 将 SM 和 GT 以 GT 中心为中心划分成 K 个块，并用 GT 覆盖率对每个块进行加权，从而定义区域感知的结构相似性 S_r。
• 使用受 SSIM 启发的公式定义每个块的区域级相似性，并聚合为 S_r = sum_k w_k * ssim(k)。
• 通过分别评估前景和背景分布来定义对象感知的相似性；使用均值和变异系数构成 O_FG 与 O_BG（方程式 5–8）。
• 计算最终的对象感知相似性 S_o = mu * O_FG + (1 - mu) * O_BG，其中 mu 为 GT 前景面积比。
• 将区域感知和对象感知度量结合成最终的 Structure-measure S = alpha * S_o + (1 - alpha) * S_r，实现中 alpha = 0.5。

Figure 8: Structural changes examples. The first row are GT maps. The second row are its morphologically changed version.

实验结果

研究问题

• RQ1 结构感知评估指标是否能比传统像素级指标更好地反映人类判断和应用目标？
• RQ2 区域感知和对象感知的结构性组件是否捕捉到前景图的互补信息？
• RQ3 所提度量在跨数据集和显著性模型中是否具有鲁棒性？

主要发现

• Structure-measure 在跨多个数据集上对显著性图相对于 GT 和应用的排序比 AP、AUC 和 Fbw 更优。
• 在元度量 1 上，Structure-measure 在与一个应用（SalCut）的一致性方面取得最佳排序。
• 在元度量 2 上，它在偏好来自强模型的输出而非通用基线方面大幅超越了最先进指标。
• 在元度量 3 上，它在跨数据集的 GT 切换排序错误方面显著降低。
• 在元度量 4 上，对注释边界变化具有鲁棒性，通常超过 Fbw。
• 用户研究表明，对 Structure-measure 排序的前景图的人工偏好更高（在 100 对中为 63.69%）。