[论文解读] Real-time Road Traffic Information Detection Through Social Media

Chandra Khatri|arXiv (Cornell University)|Jan 16, 2018

Human Mobility and Location-Based Analysis参考文献 28被引用 7

一句话总结

本文提出了一套实时系统，通过挖掘来自美国的地理标签推文，检测道路交通信息（如拥堵和事故）。该系统利用自动流式处理、分类与时空分析，从六百万条地理标签推文中提取并分类出12万条与交通相关的内容。其主要贡献在于证明了社交媒体数据（尤其是Twitter）能够准确反映真实交通模式，并通过与现有基准的统计验证，实现对城市层面交通拥堵、安全性和公众感知的排名。

ABSTRACT

In current study, a mechanism to extract traffic related information such as congestion and incidents from textual data from the internet is proposed. The current source of data is Twitter. As the data being considered is extremely large in size automated models are developed to stream, download, and mine the data in real-time. Furthermore, if any tweet has traffic related information then the models should be able to infer and extract this data. Currently, the data is collected only for United States and a total of 120,000 geo-tagged traffic related tweets are extracted, while six million geo-tagged non-traffic related tweets are retrieved and classification models are trained. Furthermore, this data is used for various kinds of spatial and temporal analysis. A mechanism to calculate level of traffic congestion, safety, and traffic perception for cities in U.S. is proposed. Traffic congestion and safety rankings for the various urban areas are obtained and then they are statistically validated with existing widely adopted rankings. Traffic perception depicts the attitude and perception of people towards the traffic. It is also seen that traffic related data when visualized spatially and temporally provides the same pattern as the actual traffic flows for various urban areas. When visualized at the city level, it is clearly visible that the flow of tweets is similar to flow of vehicles and that the traffic related tweets are representative of traffic within the cities. With all the findings in current study, it is shown that significant amount of traffic related information can be extracted from Twitter and other sources on internet. Furthermore, Twitter and these data sources are freely available and are not bound by spatial and temporal limitations. That is, wherever there is a user there is a potential for data.

研究动机与目标

• 开发一种自动化系统，实现实时从社交媒体（特别是Twitter）检测与交通相关的信息。
• 使用机器学习模型将地理标签推文分类为与交通相关或非交通相关的内容。
• 分析与交通相关的推文在空间和时间上的分布模式，以推断现实世界的交通流动情况。
• 利用社交媒体数据生成城市级别的交通拥堵、安全性和公众感知排名。
• 将模型输出结果与广泛认可且成熟的交通排名基准进行验证。

提出的方法

• 使用自动化管道实现实时从Twitter获取地理标签推文的流式处理与数据挖掘。
• 训练二元与多类分类模型，以识别文本推文中的与交通相关的内容。
• 采用空间与时间聚类方法，分析美国城市区域中推文分布的模式。
• 开发指标以量化交通拥堵水平、安全感知以及公众对交通状况的情绪。
• 通过统计方法验证模型生成的排名与既定交通绩效指数的一致性。
• 可视化与交通相关的推文流动情况，以与实际车辆移动模式进行比较。

实验结果

研究问题

• RQ1 能否从地理标签社交媒体帖子的文本内容中准确推断实时交通状况？
• RQ2 与交通相关的推文在空间和时间上的分布模式与实际城市交通流动的吻合程度如何？
• RQ3 社交媒体数据在多大程度上能生成美国城市的可靠拥堵与安全排名？
• RQ4 社交媒体中反映的公众对交通的感知，与客观交通指标的相关性如何？
• RQ5 自动化分类模型能否在大规模范围内有效区分与交通相关和非交通相关的推文？

主要发现

• 该系统成功从六百万条地理标签推文中提取出12万条与交通相关的地理标签推文。
• 与交通相关的推文在空间与时间上的可视化结果，与城市区域的实际车辆流动模式高度一致。
• 基于社交媒体数据生成的交通拥堵与安全排名，与既定基准存在显著的统计相关性。
• 从情感与内容中推断出的公众对交通的感知，在不同城市之间存在明显差异，并与已知的城市交通特征相符。
• 该模型表明，公开获取的社交媒体数据可作为传统交通监测系统的可扩展、实时替代方案。
• 本研究证实，Twitter数据能够代表真实世界的交通状况，可用于生成可操作的城市交通流动性洞察。