[论文解读] When Vehicles See Pedestrians with Phones:A Multi-Cue Framework for Recognizing Phone-based Activities of Pedestrians

Akshay Rangesh, Mohan M. Trivedi|arXiv (Cornell University)|Jan 24, 2018

Human-Automation Interaction and Safety被引用 4

一句话总结

本文提出了一种基于视觉的多线索框架，用于通过关节姿态估计、视线追踪和示例SVM实现对象标签迁移，识别与手机相关的行人活动——发短信、打电话或无分心行为。该方法结合基于高斯过程动态模型（GPDM）的粒子滤波器，在新型标注数据集上实现了高精度且计算成本低的视频序列姿态跟踪。

ABSTRACT

The intelligent vehicle community has devoted considerable efforts to model driver behavior, and in particular to detect and overcome driver distraction in an effort to reduce accidents caused by driver negligence. However, as the domain increasingly shifts towards autonomous and semi-autonomous solutions, the driver is no longer integral to the decision making process, indicating a need to refocus efforts elsewhere. To this end, we propose to study pedestrian distraction instead. In particular, we focus on detecting pedestrians who are engaged in secondary activities involving their cellphones and similar handheld multimedia devices from a purely vision-based standpoint. To achieve this objective, we propose a pipeline incorporating articulated human pose estimation, followed by a soft object label transfer from an ensemble of exemplar SVMs trained on the nearest neighbors in pose feature space. We additionally incorporate head gaze features and prior pose information to carry out cellphone related pedestrian activity recognition. Finally, we offer a method to reliably track the articulated pose of a pedestrian through a sequence of images using a particle filter with a Gaussian Process Dynamical Model (GPDM), which can then be used to estimate sequentially varying activity scores at a very low computational cost. The entire framework is fast (especially for sequential data) and accurate, and easily extensible to include other secondary activities and sources of distraction.

研究动机与目标

• 为应对与手机使用相关的行人伤亡事故日益增多的问题，特别是在自动驾驶车辆日益普及的背景下。
• 开发一种实时、基于视觉的系统，将行人分心行为分类为三类：发短信、打电话或无次要活动。
• 通过利用姿态、视线和手-物体交互等多模态线索，提升活动识别的准确性和效率。
• 通过基于GPDM的粒子滤波器实现鲁棒、低成本的行人姿态序列跟踪，仅依赖稀疏姿态测量。

提出的方法

• 使用深度卷积神经网络（ConvNet）从单幅图像中估计人体关节姿态，输出头部、颈部、双肩、肘部和手腕的关键点坐标。
• 在姿态特征空间中对最近邻进行离线训练，以获得示例支持向量机（ESVM），实现将手-物体标签（如手机存在）迁移至测试行人。
• 利用预训练的ConvNet估计头部视线方向，为检测手机使用提供额外线索。
• 将高斯过程动态模型（GPDM）集成到粒子滤波框架中，以建模时间动态性，提升姿态跟踪的鲁棒性。
• 通过晚期融合SVM融合姿态、视线和物体线索的活动得分，生成最终分类决策。
• 通过每50帧仅更新一次ESVM集成，实现高效运行，降低计算负载而不损失准确性。

实验结果

研究问题

• RQ1 基于视觉的系统能否可靠地检测并分类行人分心行为为发短信、打电话或无活动，利用多线索特征？
• RQ2 与单线索方法相比，姿态、视线和物体交互线索的融合在提升分类准确性方面效果如何？
• RQ3 基于GPDM的粒子滤波器在序列行人视频分析中，能在多大程度上提升姿态跟踪准确性并降低计算成本？
• RQ4 在真实序列中行人行为和观察角度发生动态变化时，该框架的性能表现如何？

主要发现

• 所提出的框架在分类行人活动方面表现出高精度，预测标签在所有四个测试序列中均与真实标签高度一致，即使在快速活动转换期间亦然。
• 基于GPDM的粒子滤波器在每5帧（5 Hz）才进行一次测量更新的情况下，仍能保持可靠的姿态跟踪，头部和颈部的PCK得分分别达到0.980和0.975。
• 以5 Hz频率进行测量的跟踪性能与全帧跟踪相当，表明稀疏姿态估计足以实现鲁棒性能。
• 通过每50帧更新一次ESVM集成，系统显著降低了计算成本，同时保持了高分类准确性。
• 该框架展现出强大的泛化能力和可扩展性，随着更多多样化训练数据的加入，性能有望进一步提升。
• 该方法有效融合了多种线索——姿态、视线和物体交互，从而在复杂真实场景中实现了稳定且准确的活动预测。