[论文解读] Weighing Counts: Sequential Crowd Counting by Reinforcement Learning

Liang Liu, Hao Lü+4 more|arXiv (Cornell University)|Jul 16, 2020

Video Surveillance and Tracking Methods参考文献 50被引用 4

一句话总结

该论文提出 LibraNet，一种新颖的人群计数方法，将计数建模为受尺度称重启发的序列决策问题，利用深度强化学习迭代选择权重（动作）以逼近真实人群数量。该方法在 ShanghaiTech、UCF_CC_50 和 UCF-QNRF 基准上实现了最先进性能，通过将计数估计过程建模为基于深度 Q 网络（DQN）的平衡任务，其中智能体通过模拟秤针（Q 值）的反馈学习以最小化误差。

ABSTRACT

We formulate counting as a sequential decision problem and present a novel crowd counting model solvable by deep reinforcement learning. In contrast to existing counting models that directly output count values, we divide one-step estimation into a sequence of much easier and more tractable sub-decision problems. Such sequential decision nature corresponds exactly to a physical process in reality scale weighing. Inspired by scale weighing, we propose a novel 'counting scale' termed LibraNet where the count value is analogized by weight. By virtually placing a crowd image on one side of a scale, LibraNet (agent) sequentially learns to place appropriate weights on the other side to match the crowd count. At each step, LibraNet chooses one weight (action) from the weight box (the pre-defined action pool) according to the current crowd image features and weights placed on the scale pan (state). LibraNet is required to learn to balance the scale according to the feedback of the needle (Q values). We show that LibraNet exactly implements scale weighing by visualizing the decision process how LibraNet chooses actions. Extensive experiments demonstrate the effectiveness of our design choices and report state-of-the-art results on a few crowd counting benchmarks. We also demonstrate good cross-dataset generalization of LibraNet. Code and models are made available at: https://git.io/libranet

研究动机与目标

• 解决基于直接回归的人群计数模型在密集、遮挡及尺寸多变人群场景下表现不佳的局限性。
• 将人群计数建模为序列决策过程，受人类计数行为和物理称重的启发。
• 通过使用强化学习将全局计数估计分解为一系列可处理的子决策，以提升准确性和泛化能力。
• 实现与现有局部计数估计模型的即插即用式集成，以增强性能。
• 展示跨数据集泛化能力，并在模糊和光照变化等具有挑战性的视觉条件下保持鲁棒性。

提出的方法

• 将人群计数建模为序列决策问题，其中智能体（LibraNet）在虚拟秤上逐次放置权重以匹配真实人群数量，类比于物理称重过程。
• 使用深度 Q 网络（DQN）基于图像特征和当前秤的状态（即已放置权重的总和）学习最优权重选择策略。
• 定义一个预设的动作池，包含离散的权重值（例如：±0.01, ±0.02, ..., ±5），智能体在每一步从中选择动作。
• 采用基于当前总权重与真实标签之间偏差的奖励函数，并通过指针位置（Q 值）的反馈引导学习过程。
• 引入两阶段流程：首先，局部计数模型（如 TasselNetv2）生成局部区域的计数；其次，LibraNet 通过序列动作选择聚合这些结果，生成最终的全局计数。
• 应用逆量化方法，从离散区间预测中恢复连续计数值，从而实现该方法对回归任务的适应。

实验结果

研究问题

• RQ1 人群计数能否被有效建模为一种序列决策过程，以模仿人类计数行为？
• RQ2 将计数估计建模为称重过程——即利用强化学习平衡虚拟秤——是否能相比直接回归方法提升准确性和鲁棒性？
• RQ3 LibraNet 在 ShanghaiTech、UCF_CC_50 和 UCF-QNRF 等标准人群计数基准上的表现如何，相较于最先进模型？
• RQ4 LibraNet 在数据分布发生变化（如长尾数据或图像质量差异）时，其跨数据集泛化能力如何？
• RQ5 所提出的方法能否作为即插即用模块有效集成到现有局部计数估计模型中，以提升性能？

主要发现

• LibraNet 在 ShanghaiTech Part_A、Part_B、UCF_CC_50 和 UCF-QNRF 基准上均实现了最先进性能，优于包括 TasselNetv2 在内的其他最先进模型。
• 该方法展现出强大的跨数据集泛化能力，在未进行微调的情况下，从 ShanghaiTech 成功泛化到 UCF-QNRF 和 UCF_CC_50。
• 消融实验表明，动作池设计和奖励函数对性能有显著影响，完整 LibraNet 设置取得最佳结果。
• 决策过程的可视化证实，LibraNet 有效实现了称重机制：初始阶段采用较大权重调整，随着接近真实计数，逐步改用更小权重进行精细化调节。
• 将 LibraNet 作为插件集成到 TasselNetv2 中可显著提升其性能，证明了该方法的兼容性与有效性。
• 失败案例揭示了在极端条件下（如长尾数据分布导致低估）、模糊和光照不良等场景下的局限性，提示未来改进方向。