[论文解读] SAVITR: A System for Real-time Location Extraction from Microblogs during Emergencies

Ritam Dutt, Kaustubh Hiware+2 more|arXiv (Cornell University)|Jan 23, 2018

Public Relations and Crisis Communication参考文献 8被引用 7

一句话总结

SAVITR 是一个实时系统，通过无监督自然语言处理从紧急情况下的非结构化英文微博（推文）中提取地理地点，F-score 达到 0.79，处理速度比现有工具快两个数量级，支持通过实时网络界面进行可扩展的应急监控部署。

ABSTRACT

We present SAVITR, a system that leverages the information posted on the Twitter microblogging site to monitor and analyse emergency situations. Given that only a very small percentage of microblogs are geo-tagged, it is essential for such a system to extract locations from the text of the microblogs. We employ natural language processing techniques to infer the locations mentioned in the microblog text, in an unsupervised fashion and display it on a map-based interface. The system is designed for efficient performance, achieving an F-score of 0.79, and is approximately two orders of magnitude faster than other available tools for location extraction.

研究动机与目标

• 为解决地理标签推文稀缺的问题（印度仅占 0.36%），在紧急情况下通过推文文本推断位置。
• 开发一种快速、无监督的方法，实现实时位置提取，适用于时间敏感的应急场景部署。
• 在地理标签数据之外，提升位置提取的覆盖范围与准确性，尤其针对代表性不足的地区。
• 构建一个可扩展、交互式的系统，将推断出的位置可视化在地图上，以提升危机中的态势感知能力。
• 展示该系统作为新兴紧急事件（如疾病暴发）早期预警工具的实用性。

提出的方法

• 使用无监督自然语言处理从推文文本中提取位置提及，不依赖地理标签字段。
• 采用基于地名词典的查找方法，利用 GeoNames 将提取的短语匹配到有效的地理实体。
• 应用文本预处理，包括名词短语提取和标准化，以提高匹配准确性。
• 集成基于规则的消歧策略，以处理同音词和重叠的位置名称。
• 利用 Dash 框架与 Mapbox 实现实时、交互式的位置推断结果地图可视化。
• 设计轻量级、可扩展的架构，以实现对高吞吐量推文流的低延迟处理。

实验结果

研究问题

• RQ1 无监督 NLP 技术能否在紧急情况下有效从非结构化微博文本中提取地理地点？
• RQ2 所提出方法在 F-score、召回率和精确率方面与现有位置提取工具相比表现如何？
• RQ3 该系统在多大程度上能够突破地理标签数据的限制，提升位置覆盖范围？
• RQ4 该系统在实时处理中的效率如何？是否具备实时部署的可扩展性？
• RQ5 该系统能否作为新兴紧急事件（如疾病暴发）的早期预警机制？

主要发现

• 所提方法的 F-score 达到 0.79，在推文位置提取任务中，精确率与召回率均优于基线方法。
• 系统实现了约 26.15% 的数据覆盖度，从 239,276 条推文中推断出 68,793 条位置信息，显著优于 0.36% 的地理标签基线水平。
• 系统处理推文的速度比现有工具快约两个数量级，适用于实时应急监控。
• 基于 OpenStreetMap 的方法召回率最高（85.7%），但精确率最低（44.4%），原因在于将常见短语过度分类为位置。
• 在 2017 年登革热疫情期间，SAVITR 检测到 2,204 条提及“喀拉拉邦”的推文，其中 88.92% 同时包含“登革热”一词，证明其具备早期预警潜力。
• 系统成功识别出主要城市以及偏远或小众地点，如印度的加特科帕尔、贡杜尔和皮普拉村。