[论文解读] Where Would I Go Next? Large Language Models as Human Mobility Predictors

Xinglei Wang, Meng Fang+2 more|arXiv (Cornell University)|Aug 29, 2023

Human Mobility and Location-Based Analysis被引用 16

一句话总结

本文提出 LLM-Mob 框架，使用大型语言模型结合数据格式化和包含上下文的提示来预测人类出行的下一个地点，在两个公开数据集上取得了最先进的结果，同时提供可解释的预测。

ABSTRACT

Accurate human mobility prediction underpins many important applications across a variety of domains, including epidemic modelling, transport planning, and emergency responses. Due to the sparsity of mobility data and the stochastic nature of people's daily activities, achieving precise predictions of people's locations remains a challenge. While recently developed large language models (LLMs) have demonstrated superior performance across numerous language-related tasks, their applicability to human mobility studies remains unexplored. Addressing this gap, this article delves into the potential of LLMs for human mobility prediction tasks. We introduce a novel method, LLM-Mob, which leverages the language understanding and reasoning capabilities of LLMs for analysing human mobility data. We present concepts of historical stays and context stays to capture both long-term and short-term dependencies in human movement and enable time-aware prediction by using time information of the prediction target. Additionally, we design context-inclusive prompts that enable LLMs to generate more accurate predictions. Comprehensive evaluations of our method reveal that LLM-Mob excels in providing accurate and interpretable predictions, highlighting the untapped potential of LLMs in advancing human mobility prediction techniques. We posit that our research marks a significant paradigm shift in human mobility modelling, transitioning from building complex domain-specific models to harnessing general-purpose LLMs that yield accurate predictions through language instructions. The code for this work is available at https://github.com/xlwang233/LLM-Mob.

研究动机与目标

• 促使使用大型语言模型进行人类出行预测，并解决出行模式中的数据稀疏性和随机性。
• 提出一种结构化的数据格式化方案（历史停留、上下文停留），以捕捉长期和短期依赖。
• 设计包含上下文的提示，使 LLM 能进行时间感知的下一个地点预测并提供解释。

提出的方法

• 将出行轨迹格式化为历史停留和上下文停留，以捕捉长期和短期依赖。
• 合并目标停留时间信息，以实现时间感知的预测。
• 开发包含上下文的提示，描述数据、引导推理，并在预测的同时请求解释。
• 使用固定温度的 GPT-3.5 生成前 k 个下一个地点及其原因。
• 在两个公开数据集（Geolife 和 FSQ-NYC）上使用 Acc@1、Acc@5、Acc@10、加权 F1 和 nDCG@10 评估预测。

实验结果

研究问题

• RQ1 在经过正确提示并输入格式化的出行数据时，LLM 能否比传统模型更准确地预测下一个地点？
• RQ2 包含长期历史、短期上下文和目标时间信息是否能提高基于 LLM 的出行预测？
• RQ3 LLM 生成的关于出行预测的解释的可解释性如何？
• RQ4 使用 LLM 进行出行预测的局限性（如幻觉、效率等）是什么？
• RQ5 结果在不同提示、温度和不同 LLM 下的鲁棒性如何？

主要发现

• LLM-Mob 在 Geolife 和 FSQ-NYC 数据集的 Acc@1、Acc@5、Acc@10、加权 F1 和 nDCG@10 上超越了经典和若干深度学习基线。
• 将目标时间信息（w t）纳入后，相较于不包含目标时间信息的模型（wot）表现有所提升。
• 在历史、上下文和目标时间信息都提供的配置中，获得最高的预测准确度。
• 消融研究表明，移除历史停留的负面影响比移除上下文停留或目标时间信息更大，凸显长期依赖。
• LLM-Mob 通过在预测的同时返回推理/解释，提供可解释的预测，尽管可能存在幻觉等局限。
• 鲁棒性测试表明，在非零温度、提示变化以及使用不同的 LLM 时，性能具有稳定性，但对实际部署有注意事项。