[论文解读] Semi-Supervised Crowd Counting via Self-Training on Surrogate Tasks

Yan Liu, Lingqiao Liu+3 more|arXiv (Cornell University)|Jul 7, 2020

Video Surveillance and Tracking Methods参考文献 55被引用 5

一句话总结

本文提出了一种半监督人群计数方法，通过从密度图回归任务中衍生出的代理二值分割任务，利用自训练方式对通用特征提取器进行训练。通过利用多个基于阈值的分割任务之间的相互关系，并从无标注数据中生成可靠的伪标签，该方法在显著减少标注密度图数量的同时，实现了最先进性能，降低了标注成本并提高了模型鲁棒性。

ABSTRACT

Most existing crowd counting systems rely on the availability of the object location annotation which can be expensive to obtain. To reduce the annotation cost, one attractive solution is to leverage a large number of unlabeled images to build a crowd counting model in semi-supervised fashion. This paper tackles the semi-supervised crowd counting problem from the perspective of feature learning. Our key idea is to leverage the unlabeled images to train a generic feature extractor rather than the entire network of a crowd counter. The rationale of this design is that learning the feature extractor can be more reliable and robust towards the inevitable noisy supervision generated from the unlabeled data. Also, on top of a good feature extractor, it is possible to build a density map regressor with much fewer density map annotations. Specifically, we proposed a novel semi-supervised crowd counting method which is built upon two innovative components: (1) a set of inter-related binary segmentation tasks are derived from the original density map regression task as the surrogate prediction target; (2) the surrogate target predictors are learned from both labeled and unlabeled data by utilizing a proposed self-training scheme which fully exploits the underlying constraints of these binary segmentation tasks. Through experiments, we show that the proposed method is superior over the existing semisupervised crowd counting method and other representative baselines.

研究动机与目标

• 通过在半监督学习设置下利用大规模无标注图像，降低人群计数的高标注成本。
• 通过在噪声较大的无标注数据上对通用特征提取器而非完整人群计数器进行训练，提高模型鲁棒性。
• 通过提出代理二值分割任务，解决基于回归的半监督学习中伪标签不可靠的挑战。
• 利用多个基于阈值的分割任务之间的结构化相互关系，生成更可靠的伪标签用于自训练。
• 证明预训练的特征提取器可在仅需极少真实密度图标注的情况下实现高性能的密度图回归。

提出的方法

• 该方法将密度图回归表述为一组相互关联的二值分割任务，其中每个任务预测像素的密度是否超过预设阈值。
• 对于每个代理任务，使用标注数据（带有真实伪标签）和无标注数据（带有通过自训练生成的伪标签）来训练分割预测器。
• 提出一种新颖的自训练策略，通过确保较高阈值的预测结果隐含较低阈值的预测结果，来强制代理任务之间的逻辑一致性。
• 该方法利用置信度阈值和任务间约束来过滤和优化伪标签，从而在无真实标签的情况下提升其可靠性。
• 随后，使用少量标注的密度图对学习到的特征提取器进行微调，以生成最终的人群计数模型。
• 该方法在ShanghaiTech Part_A和UCF-QNRF数据集上进行了评估，展现出在不同网络架构下的强泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 从密度图回归中衍生出的代理二值分割任务是否能提升半监督人群计数的性能？
• RQ2 在多个基于阈值的分割任务之间施加相互关系约束的自训练策略，在生成无标注数据的可靠伪标签方面有多高效？
• RQ3 在代理任务上预训练特征提取器是否能带来更优的下游密度图回归性能，且所需标注密度图更少？
• RQ4 该方法对超参数（如伪标签生成的预测置信度阈值）的敏感性如何？
• RQ5 所提出的方法是否能在不同主干网络架构和数据集上实现良好泛化？

主要发现

• 所提出的IRAST方法在ShanghaiTech Part_A数据集上达到86.9的MAE，在UCF-QNRF数据集上达到135.6的MAE，优于现有半监督方法和强基线模型。
• 在伪标签生成过程中移除任务间相互关系约束会导致性能显著下降，证实该约束在提升标签可靠性方面起着关键作用。
• 该方法对预测置信度阈值$t_p$具有鲁棒性，不同取值下性能变化极小，表明其行为稳定。
• 使用SPN作为特征提取器而非CSRNet可进一步提升性能，表明该方法与多种网络架构具有良好的兼容性。
• 三个代理任务（阈值分别为0.5N、0.7N、0.9N）表现最佳，表明更细粒度的密度划分并不能带来性能提升。
• 消融实验证实，在代理任务上学习特征提取器比在原始回归任务上进行端到端半监督训练更有效。