[论文解读] Multiview Deep Learning for Predicting Twitter Users' Location

Tien Huu, Duc Minh Nguyen+3 more|arXiv (Cornell University)|Dec 21, 2017

Human Mobility and Location-Based Analysis参考文献 47被引用 32

一句话总结

本文提出 MENET，一种多视角深度学习模型，通过整合文本、网络和元数据特征，实现对 Twitter 用户地理定位的最先进精度预测。通过利用全球多尺度 S2 网格划分和多输入神经网络架构，MENET 在三个基准数据集上优于现有方法，与 k-means 和 k-d 树基线相比，平均误差减少超过 30 公里。

ABSTRACT

The problem of predicting the location of users on large social networks like Twitter has emerged from real-life applications such as social unrest detection and online marketing. Twitter user geolocation is a difficult and active research topic with a vast literature. Most of the proposed methods follow either a content-based or a network-based approach. The former exploits user-generated content while the latter utilizes the connection or interaction between Twitter users. In this paper, we introduce a novel method combining the strength of both approaches. Concretely, we propose a multi-entry neural network architecture named MENET leveraging the advances in deep learning and multiview learning. The generalizability of MENET enables the integration of multiple data representations. In the context of Twitter user geolocation, we realize MENET with textual, network, and metadata features. Considering the natural distribution of Twitter users across the concerned geographical area, we subdivide the surface of the earth into multi-scale cells and train MENET with the labels of the cells. We show that our method outperforms the state of the art by a large margin on three benchmark datasets.

研究动机与目标

• 为解决在稀疏且嘈杂的地理标签数据下准确预测 Twitter 用户位置的挑战。
• 通过整合多种数据视角，克服基于内容或基于网络的地理定位方法的局限性。
• 开发一种通用且可扩展的深度学习框架，能够融合多样化的 Twitter 特征（文本、结构、时间）以提升地理定位性能。
• 评估不同地理空间标签策略（S2、k-means 和 k-d 树）对模型性能的影响。

提出的方法

• MENET 采用多输入神经网络架构，处理四种不同的特征视角：TF-IDF 和 doc2vec 用于文本内容，node2vec 用于用户交互网络拓扑，时间戳特征用于时间模式。
• 该模型使用多尺度 S2 几何库将地球表面划分为均匀且分层的单元格，根据用户的位置将其分配到地理类别。
• 每个特征视角通过专用的神经子网络独立嵌入，之后拼接并输入最终的分类器头以进行位置预测。
• 将估计精确坐标的回归任务重新定义为使用 S2 单元中心作为类别标签的多分类问题。
• 模型使用交叉熵损失进行端到端训练，超参数在基准数据集上进行调优以实现最佳性能。
• 该框架支持归纳泛化，可扩展以集成评估之外的额外特征类型。

实验结果

研究问题

• RQ1 与单模态方法相比，结合多种数据视角（文本、网络、元数据）在多大程度上提升了 Twitter 用户地理定位的准确性？
• RQ2 不同的地理空间划分策略（S2、k-means 和 k-d 树）对基于深度学习的地理定位模型性能有何影响？
• RQ3 各个特征类型（如 TF-IDF、node2vec、doc2vec、时间戳）对 MENET 模型整体性能的贡献程度如何？
• RQ4 多视角深度学习方法是否能在多个基准数据集上超越现有的最先进方法，在 Twitter 用户地理定位任务中表现更优？

主要发现

• 在使用 S2 标签的 GeoText 数据集上，MENET 实现了 552 公里的平均距离误差，优于 k-means（538 公里）和 k-d 树（573 公里）的划分策略。
• 与 k-d 树相比，使用 S2 标签使平均误差减少超过 30 公里，与 k-means 相比，中位数误差降低超过 50%。
• 移除 node2vec 特征导致性能下降最大，平均误差上升至 894 公里，@161 准确率降至 36.5%，表明其在模型性能中起关键作用。
• 使用 S2 标签时，模型实现 62.1% 的 @161 准确率，高于 k-means（61.0%）和 k-d 树（53.8%）的划分方法。
• 四种特征类型（TF-IDF、doc2vec、node2vec、时间戳）的整合实现了最佳性能，且每种特征对最终准确率均有显著贡献。
• 与 k-means 和 k-d 树相比，S2 划分在标签创建方面展现出更高的稳定性和灵活性，使其更适合可扩展且可复现的地理定位建模。