[论文解读] Towards Using Count-level Weak Supervision for Crowd Counting

Yinjie Lei, Yan Liu+2 more|arXiv (Cornell University)|Feb 29, 2020

Video Surveillance and Tracking Methods参考文献 62被引用 7

一句话总结

本文提出多辅助任务训练（MATT），一种弱监督人群计数方法，通过引入多个辅助分支，利用计数级标注来正则化密度图预测。通过强制各分支间的一致性并使其与总人数对齐，MATT 显著优于朴素的计数回归基线模型，在标准数据集和新引入的数据集上均取得了最先进性能，且仅需极少的位置级标注。

ABSTRACT

Most existing crowd counting methods require object location-level annotation, i.e., placing a dot at the center of an object. While being simpler than the bounding-box or pixel-level annotation, obtaining this annotation is still labor-intensive and time-consuming especially for images with highly crowded scenes. On the other hand, weaker annotations that only know the total count of objects can be almost effortless in many practical scenarios. Thus, it is desirable to develop a learning method that can effectively train models from count-level annotations. To this end, this paper studies the problem of weakly-supervised crowd counting which learns a model from only a small amount of location-level annotations (fully-supervised) but a large amount of count-level annotations (weakly-supervised). To perform effective training in this scenario, we observe that the direct solution of regressing the integral of density map to the object count is not sufficient and it is beneficial to introduce stronger regularizations on the predicted density map of weakly-annotated images. We devise a simple-yet-effective training strategy, namely Multiple Auxiliary Tasks Training (MATT), to construct regularizes for restricting the freedom of the generated density maps. Through extensive experiments on existing datasets and a newly proposed dataset, we validate the effectiveness of the proposed weakly-supervised method and demonstrate its superior performance over existing solutions.

研究动机与目标

• 通过利用易于获取的计数级标注，解决人群计数中位置级监督带来的高标注成本问题。
• 探究计数级弱监督是否能有效提升模型泛化能力与性能。
• 设计一种训练策略，有效正则化从计数级标注图像中预测的密度图。
• 验证辅助任务与非对称训练在提升模型鲁棒性与准确性方面的作用。
• 发布一个通过逐步图像增减方式收集的新数据集，以支持计数级弱监督的评估。

提出的方法

• 提出多辅助任务训练（MATT），通过引入多个辅助预测分支，从同一特征图生成多样化但一致的密度图。
• 为每个辅助分支施加两项损失：(1) 预测密度图的积分必须与真实计数匹配；(2) 不同分支预测的密度图必须保持一致。
• 采用非对称训练策略：仅主干分支从真实标注中学习，而辅助分支则从主干分支的预测结果和计数标签中学习，以防止噪声梯度传播。
• 在弱监督设置下应用该方法：一小部分图像具有位置级标注（点图），而大部分图像仅具有计数级标注。
• 所有分支共享同一特征提取器，每个分支为同一输入图像生成独立的密度图。
• 在主干分支上使用标准人群计数损失（如 L1 或 L2），并通过辅助监督增强特征学习，无需额外标注。

实验结果

研究问题

• RQ1 计数级标注（易于获取）在弱监督学习中是否能有效提升人群计数性能？
• RQ2 朴素的计数回归损失是否无法充分约束密度图预测，从而导致性能欠佳？
• RQ3 鼓励多个密度图预测之间一致性的辅助任务，是否能提升弱监督数据上的模型泛化能力？
• RQ4 训练中的非对称性（即辅助任务不更新主干分支）是否对防止梯度噪声、提升性能至关重要？
• RQ5 所提方法在多大程度上能利用大规模计数级标注数据，超越完全监督基线？

主要发现

• 所提出的 MATT 方法在 ShanghaiTech Part_A 数据集上实现了 80.1 的平均绝对误差（MAE），显著优于朴素计数回归基线（MAE 90.8）。
• 使用 4 至 6 个辅助分支时性能最佳，而分支数量较少（如 2 个）时性能反而劣于基线，表明多样化监督信号的重要性。
• 若移除非对称训练策略，性能下降至 MAE 89.0 和 MSE 140.6，验证了阻止辅助分支向主干分支传播梯度至关重要。
• 在完全标注数据上，MATT 仅略微提升性能（MAE 104.6），相比单任务学习（MAE 106.5），表明该方法的优势在于有效利用弱监督，而非多任务学习本身。
• 新引入的数据集表明，通过逐步图像增减方式收集的计数级标注在训练中有效，并能可靠评估弱监督方法。
• 结合计数级损失与辅助分支间的一致性损失，可获得最佳性能，证实了多分支正则化策略的有效性。