[论文解读] Social Media Text Processing and Semantic Analysis for Smart Cities

João Filipe Figueiredo Pereira|arXiv (Cornell University)|Jul 14, 2017

Smart Cities and Technologies参考文献 1被引用 7

一句话总结

本论文提出了一套可扩展的框架，用于收集、处理和分析地理位置标注的推文，以提取智慧城市和智能交通系统的可操作洞察。该框架结合了并行推文收集、多语言文本预处理、主题建模，以及基于标准数据集训练的混合词袋/嵌入分类器，在葡萄牙语和英语中均实现了稳健性能，能够有效识别与出行相关的内容。对全球五个城市的4300多万条推文进行分析显示，尽管城市间存在差异，但主题重叠度很高。

ABSTRACT

With the rise of Social Media, people obtain and share information almost instantly on a 24/7 basis. Many research areas have tried to gain valuable insights from these large volumes of freely available user generated content. With the goal of extracting knowledge from social media streams that might be useful in the context of intelligent transportation systems and smart cities, we designed and developed a framework that provides functionalities for parallel collection of geo-located tweets from multiple pre-defined bounding boxes (cities or regions), including filtering of non-complying tweets, text pre-processing for Portuguese and English language, topic modeling, and transportation-specific text classifiers, as well as, aggregation and data visualization. We performed an exploratory data analysis of geo-located tweets in 5 different cities: Rio de Janeiro, São Paulo, New York City, London and Melbourne, comprising a total of more than 43 million tweets in a period of 3 months. Furthermore, we performed a large scale topic modelling comparison between Rio de Janeiro and São Paulo. Interestingly, most of the topics are shared between both cities which despite being in the same country are considered very different regarding population, economy and lifestyle. We take advantage of recent developments in word embeddings and train such representations from the collections of geo-located tweets. We then use a combination of bag-of-embeddings and traditional bag-of-words to train travel-related classifiers in both Portuguese and English to filter travel-related content from non-related. We created specific gold-standard data to perform empirical evaluation of the resulting classifiers. Results are in line with research work in other application areas by showing the robustness of using word embeddings to learn word similarities that bag-of-words is not able to capture.

研究动机与目标

• 解决处理短文本、非正式、多语言社交媒体文本以支持城市智能应用的挑战。
• 设计一种可扩展的并行框架，用于从多个城市收集地理位置标注的推文。
• 开发针对葡萄牙语和英语社交媒体内容的多语言文本处理流水线。
• 构建并评估结合混合词袋与词嵌入的出行相关文本分类器。
• 对巴西里约热内卢和圣保罗的地理位置标注推文进行大规模主题建模与语义分析。

提出的方法

• 使用边界框实现并行推文收集系统，从五个城市（里约热内卢、圣保罗、纽约市、伦敦和墨尔本）收集地理位置标注的推文。
• 针对葡萄牙语和英语应用语言特定的文本预处理，包括过滤不符合规范和无关的推文。
• 在超过4300万条地理位置标注推文上进行大规模主题建模，使用LDA识别共享主题与城市特有主题。
• 训练结合传统词袋模型与从推文语料中学习到的词嵌入的混合出行相关文本分类器。
• 利用标准标注数据集，实证评估分类器在葡萄牙语和英语中的性能。
• 集成数据聚合与可视化组件，以支持探索性分析与城市洞察生成。

实验结果

研究问题

• RQ1 尽管里约热内卢和圣保罗在人口、经济和生活方式方面存在显著差异，其地理位置标注推文的主题分布重叠程度如何？
• RQ2 混合词袋与词嵌入模型在分类非正式、多语言社交媒体文本中的出行相关内容时，效果如何？
• RQ3 词嵌入能否捕捉到传统词袋模型无法检测到的社交媒体文本中的语义相似性？
• RQ4 在不同全球城市中，地理位置标注推文的主导主题和用户关注点是什么？
• RQ5 所提出的框架在智慧城市应用中，对大规模、实时社交媒体流处理的可扩展性与鲁棒性如何？

主要发现

• 该框架在三个月内成功收集并处理了超过4300万条地理位置标注的推文，覆盖五个城市。
• 尽管人口、经济和生活方式存在显著差异，里约热内卢和圣保罗的社交媒体内容在主题上表现出高度重叠。
• 混合词袋与词嵌入分类器在识别出行相关内容方面优于传统词袋模型，证明了语义表示的价值。
• 词嵌入有效捕捉了非正式语言（如俚语和缩写）中的语义相似性，而传统词袋模型则无法做到。
• 本研究是迄今为止对巴西地理位置标注推文的最大规模内容分析，通过社交媒体为城市动态提供了新见解。
• 所开发的源代码与数据集已公开发布，以支持未来在智慧城市和智能交通系统领域的研究。