[论文解读] The Pedestrian Patterns Dataset

Kasra Mokhtari, Alan R. Wagner|arXiv (Cornell University)|Jan 6, 2020

Video Surveillance and Tracking Methods参考文献 19被引用 6

一句话总结

本论文介绍了一个大规模行人行为数据集，该数据集通过在不同时间反复穿越三条城市路线，在一周内采集了全高清视频和GPS数据。利用Fast R-CNN进行行人检测，该数据集可量化行人密度，并支持自动驾驶车辆的风险预测以及动态环境中长期基于视觉的定位研究。

ABSTRACT

We present the pedestrian patterns dataset for autonomous driving. The dataset was collected by repeatedly traversing the same three routes for one week starting at different specific timeslots. The purpose of the dataset is to capture the patterns of social and pedestrian behavior along the traversed routes at different times and to eventually use this information to make predictions about the risk associated with autonomously traveling along different routes. This dataset contains the Full HD videos and GPS data for each traversal. Fast R-CNN pedestrian detection method is applied to the captured videos to count the number of pedestrians at each video frame in order to assess the density of pedestrians along a route. By providing this large-scale dataset to researchers, we hope to accelerate autonomous driving research not only to estimate the risk, both to the public and to the autonomous vehicle but also accelerate research on long-term vision-based localization of mobile robots and autonomous vehicles of the future.

研究动机与目标

• 捕捉在不同条件下城市环境中行人行为的时空模式。
• 为训练和评估自动驾驶车辆感知系统与风险预测系统提供全面的数据集。
• 支持移动机器人和自动驾驶车辆的长期基于视觉的定位研究。
• 实现对不同时间段和不同星期几的行人密度波动的分析。
• 通过提供真实世界中人车交互行为模式的数据，加速自主导航研究。

提出的方法

• 数据采集通过在连续七天内反复穿越三条固定的城市路线完成。
• 每次穿越均记录全高清视频并同步采集GPS数据，以实现精确的路线与位置追踪。
• 对每一帧视频应用Fast R-CNN目标检测模型，以统计行人数量并估算密度。
• 将行人数量按时间段和路线进行聚合，以分析时空模式。
• 对数据集进行整理并发布，以支持自动驾驶系统研究中的可复现性与可扩展性。
• 数据结构设计支持按时间、路线和行人数量进行关联，以支持风险建模。

实验结果

研究问题

• RQ1 在城市路线上，行人密度在一天中的不同时间段如何变化？
• RQ2 在特定地点，行人行为在多天内是否存在重复出现的模式？
• RQ3 真实世界的行人密度数据在多大程度上可提升自动驾驶车辆导航的风险评估？
• RQ4 视觉系统在多大程度上可利用长期行人行为模式数据实现定位与预测？
• RQ5 行人流量的时间一致性在训练鲁棒的自动驾驶模型中起到何种作用？

主要发现

• 该数据集捕捉到了一天中不同时间段行人密度的显著差异，其中高峰流量出现在上午中期和傍晚时分。
• 在多天内观察到一致的行人移动模式，表明特定位置的行人行为具有可预测性。
• 使用Fast R-CNN实现了对1,000多个视频片段中行人数量的高精度、可扩展计数，且时间分辨率高。
• 该数据集支持与行人暴露相关的风险因素建模，有助于实现更安全的自动驾驶车辆路径规划。
• GPS与视频数据的结合使得行人活动与环境背景之间的精确时空关联成为可能。
• 该数据集通过提供随时间重复的、一致的城市场景观测，支持长期定位研究。