[论文解读] Point in, Box out: Beyond Counting Persons in Crowds

Liu, Yuting, Mayue Shi+2 more|arXiv (Cornell University)|Apr 2, 2019

Video Surveillance and Tracking Methods参考文献 47被引用 9

一句话总结

本文提出点监督深度检测网络（PSDDN），一种新颖方法，仅利用点级标注训练深度学习模型，实现行人检测与人群计数的联合任务。通过从最近邻距离中挖掘头部尺寸，并采用基于局部约束回归损失和课程学习的在线伪真值更新机制，PSDDN在多个基准数据集（包括ShanghaiTech、UCF_CC_50、WiderFace和TRANCOS）上，在检测与计数任务中均达到最先进性能。

ABSTRACT

Modern crowd counting methods usually employ deep neural networks (DNN) to estimate crowd counts via density regression. Despite their significant improvements, the regression-based methods are incapable of providing the detection of individuals in crowds. The detection-based methods, on the other hand, have not been largely explored in recent trends of crowd counting due to the needs for expensive bounding box annotations. In this work, we instead propose a new deep detection network with only point supervision required. It can simultaneously detect the size and location of human heads and count them in crowds. We first mine useful person size information from point-level annotations and initialize the pseudo ground truth bounding boxes. An online updating scheme is introduced to refine the pseudo ground truth during training; while a locally-constrained regression loss is designed to provide additional constraints on the size of the predicted boxes in a local neighborhood. In the end, we propose a curriculum learning strategy to train the network from images of relatively accurate and easy pseudo ground truth first. Extensive experiments are conducted in both detection and counting tasks on several standard benchmarks, e.g. ShanghaiTech, UCF_CC_50, WiderFace, and TRANCOS datasets, and the results show the superiority of our method over the state-of-the-art.

研究动机与目标

• 解决基于回归的人群计数方法无法提供个体检测的局限性。
• 克服基于检测方法所需的边界框标注带来的高昂标注成本。
• 实现仅使用行人头部点级监督的检测网络端到端训练。
• 在无需昂贵边界框标注的情况下，提升密集人群中的定位精度与尺寸估计性能。
• 证明该方法在包括行人与车辆计数任务在内的多样化数据集上的泛化能力。

提出的方法

• 利用最近邻头部距离，从头部点标注初始化伪真值边界框。
• 实施在线更新机制，在训练过程中根据模型预测结果优化伪真值边界框。
• 引入一种局部约束回归损失，鼓励局部邻域内边界框尺寸的一致性，以建模透视失真效应。
• 设计一种课程学习策略，根据头部距离分布优先选择更准确、更易学习的伪真值进行训练。
• 使用点监督端到端训练网络，检测头预测边界框，独立头估计人群数量。
• 利用局部区域内的尺寸相关性，仅从点标注中推断合理的边界框尺寸。

实验结果

研究问题

• RQ1 能否仅使用点级标注有效训练深度检测网络以实现行人检测与人群计数？
• RQ2 如何在无需人工边界框标注的情况下，从稀疏头部点标注中生成可靠的伪真值边界框？
• RQ3 局部尺寸一致性约束在多大程度上能提升密集人群中的检测精度？
• RQ4 当处理高度多变的人群密度时，课程学习是否能提升训练稳定性和性能？
• RQ5 所提出方法能否泛化到行人计数以外的其他检测与计数任务？

主要发现

• PSDDN在人群计数任务中表现优异，与ShanghaiTech和UCF_CC_50数据集上的最先进回归方法相当。
• 在ShanghaiTech数据集中，PSDDN的平均绝对误差（MAE）为22.1，均方误差（MSE）为70.8，与最先进回归方法表现相当。
• 在行人检测任务中，PSDDN在ShanghaiTech数据集上达到0.536的平均精度（AP），优于其他点监督方法，并接近全监督检测器性能。
• 在WiderFace数据集中，PSDDN在易、中、难三类样本上的AP分别为0.605、0.605和0.396，表明即使仅有点级监督，也展现出强大的泛化能力。
• 在TRANCOS车辆计数数据集上，PSDDN的GAME0=4.79，GAME1=5.43，GAME2=6.68，GAME3=8.40，在更高阶指标上优于最佳回归方法。
• 在TRANCOS数据集上，PSDDN的检测AP达到0.669，表明在不同领域（车辆计数）中使用极少监督时仍表现强劲。