[论文解读] NOH-NMS: Improving Pedestrian Detection by Nearby Objects Hallucination

Penghao Zhou, Chong Zhou+5 more|arXiv (Cornell University)|Jul 27, 2020

Anomaly Detection Techniques and Applications参考文献 35被引用 4

一句话总结

本文提出 NOH-NMS，一种用于行人检测的新型非极大值抑制方法，通过邻近物体幻觉器（NOH）从区域建议特征中预测高斯分布，以建模邻近行人的分布，从而在密集区域实现动态抑制松弛。该方法在 CrowdHuman 数据集上实现了 SOTA 性能，mAP 达 89.0%，召回率达 92.9%，MR-2 为 43.9%，相比 Greedy-NMS 提升了 3.9% mAP、5.1% 召回率和 0.8% MR-2。

ABSTRACT

Greedy-NMS inherently raises a dilemma, where a lower NMS threshold will potentially lead to a lower recall rate and a higher threshold introduces more false positives. This problem is more severe in pedestrian detection because the instance density varies more intensively. However, previous works on NMS don't consider or vaguely consider the factor of the existent of nearby pedestrians. Thus, we propose Nearby Objects Hallucinator (NOH), which pinpoints the objects nearby each proposal with a Gaussian distribution, together with NOH-NMS, which dynamically eases the suppression for the space that might contain other objects with a high likelihood. Compared to Greedy-NMS, our method, as the state-of-the-art, improves by $3.9\%$ AP, $5.1\%$ Recall, and $0.8\%$ $ ext{MR}^{-2}$ on CrowdHuman to $89.0\%$ AP and $92.9\%$ Recall, and $43.9\%$ $ ext{MR}^{-2}$ respectively.

研究动机与目标

• 为解决 Greedy-NMS 中固定 IoU 阈值难以在高密度行人场景中平衡召回率与误检数的固有矛盾。
• 克服现有 NMS 变体（如 Soft-NMS 和 Adaptive-NMS）无法建模邻近行人空间上下文的局限性。
• 设计一种基于邻近物体存在可能性动态调整抑制强度的方法，提升密集场景下的检测性能。
• 在计算开销极低且无需额外标注的前提下，实现 SOTA 行人检测性能。

提出的方法

• 邻近物体幻觉器（NOH）利用 RoI 特征预测一个 4D 高斯分布，用于建模邻近行人的预期位置与尺寸。
• 该高斯分布编码了邻近物体的均值（预期位置与形状）和方差（不确定性），支持空间推理。
• NOH-NMS 利用幻觉生成的高斯分布，在邻近行人可能性较高的区域动态降低抑制强度。
• 该方法可无缝集成至单阶段与两阶段检测器中，计算开销可忽略不计。
• 高斯分布参数由特征预测，若使用 KL 损失，标准差 σ 可端到端训练，但本文中采用经验设定。
• 该方法引入两个超参数：密度阈值 dt 和高斯标准差 σ，二者在广泛范围内均表现出鲁棒性。

实验结果

研究问题

• RQ1 建模邻近行人的空间分布是否能提升密集行人检测中 NMS 的性能？
• RQ2 基于幻觉物体分布的动态抑制策略是否能缓解召回率与误检数之间的权衡？
• RQ3 所提方法对超参数选择（如密度阈值 dt 和高斯标准差 σ）的鲁棒性如何？
• RQ4 NOH-NMS 是否能在仅使用完整人体边界框标注的前提下实现 SOTA 性能？

主要发现

• 在 CrowdHuman 数据集上，NOH-NMS 实现 89.0% mAP、92.9% 召回率和 43.9% MR-2，相比强基线 Greedy-NMS 提升 3.9% mAP、5.1% 召回率和 0.8% MR-2。
• 在 CityPersons 数据集上，该方法实现 10.8% MR-2，表明其在 CrowdHuman 之外也具备强大泛化能力。
• 该方法对超参数选择具有鲁棒性：在 dt（0.2–0.5）和 σ 值的广泛范围内，性能变化极小。
• 与 Greedy-NMS 相比，NOH-NMS 对 IoU 阈值 Nt 的敏感度更低，在所有召回率水平下均保持更优性能。
• 定性结果表明，NOH 成功幻觉出邻近行人，使 NOH-NMS 能够恢复 Greedy-NMS 和 Adaptive-NMS 所遗漏的检测结果。
• 消融实验表明，当在相同强基线上重现实现时，NOH-NMS 始终优于 Soft-NMS 和 Adaptive-NMS。