[论文解读] Neural Point Process for Learning Spatiotemporal Event Dynamics

Zihao Zhou, Xingyi Yang+3 more|arXiv (Cornell University)|Dec 12, 2021

Point processes and geometric inequalities被引用 7

一句话总结

本文提出一种神经点过程（NPP）模型，通过将事件强度建模为神经网络输出，学习时空事件动态，实现对下一事件发生时间和位置的端到端预测。其主要贡献在于提出一种可微分框架，通过预测强度函数将时间与空间事件预测相融合，借助事件时间与位置分布的闭式期望，实现精确的联合时空预测。

ABSTRACT

Learning the dynamics of spatiotemporal events is a fundamental problem. Neural point processes enhance the expressivity of point process models with deep neural networks. However, most existing methods only consider temporal dynamics without spatial modeling. We propose Deep Spatiotemporal Point Process (\ours{}), a deep dynamics model that integrates spatiotemporal point processes. Our method is flexible, efficient, and can accurately forecast irregularly sampled events over space and time. The key construction of our approach is the nonparametric space-time intensity function, governed by a latent process. The intensity function enjoys closed form integration for the density. The latent process captures the uncertainty of the event sequence. We use amortized variational inference to infer the latent process with deep networks. Using synthetic datasets, we validate our model can accurately learn the true intensity function. On real-world benchmark datasets, our model demonstrates superior performance over state-of-the-art baselines. Our code and data can be found at the https://github.com/Rose-STL-Lab/DeepSTPP.

研究动机与目标

• 建模事件发生依赖于历史记录与空间上下文的复杂时空事件动态。
• 解决在连续、可微分框架下联合预测下一事件发生时间与位置的挑战。
• 开发基于神经网络的强度函数，以捕捉连续时间与空间中非马氏、依赖历史的事件模式。
• 通过神经网络实现点过程模型的端到端训练，支持可扩展且灵活的时空预测。
• 推导出期望下一事件发生时间与位置的闭式表达式，从而提升推理与训练效率。

提出的方法

• 该模型将强度函数 λ*(t, s) 定义为神经网络输出，由学习得到的权重参数化，用于建模连续时间与空间中的事件发生率。
• 通过生存函数推导下一事件发生时间的预测分布，其期望时间通过时间上的积分计算，即 t 乘以风险率的积分。
• 下一事件的期望位置通过在空间域上对预测强度函数 f*(s, t) 进行积分计算，得到空间上的期望。
• 模型使用累积强度函数 ∫λ*(τ)dτ 计算生存概率，从而实现对期望事件时间的精确计算。
• 该框架通过将期望时间与位置表达为涉及负累积强度指数的积分形式，支持可微分训练。
• 该方法通过将时间强度与空间密度整合为统一的预测分布，实现时间与位置的联合预测。

实验结果

研究问题

• RQ1 能否使用神经网络对点过程的强度函数进行建模，以捕捉复杂、依赖历史的时空事件动态？
• RQ2 在神经强度模型下，如何以闭式表达计算下一事件的期望发生时间与位置？
• RQ3 与传统方法相比，可微分点过程模型在时空事件序列预测中的准确性能提升多少？
• RQ4 该模型能否通过概率框架实现时间与位置的联合预测，并保持一致的不确定性量化？
• RQ5 神经强度函数如何实现对连续时间与空间中非泊松、非马氏事件模式的灵活建模？

主要发现

• 下一事件的期望发生时间通过时间上的积分计算，即 t 乘以风险率与生存概率乘积的积分，实现精确的解析推理。
• 下一事件的预测位置通过在空间域上对预测强度函数 f*(s, t) 进行积分获得，得到空间期望。
• 该模型通过将预测分布表示为累积强度函数的形式，实现可微分推理，支持时间与空间上的反向传播。
• 该框架支持使用反向传播进行端到端训练，梯度通过将期望时间与位置的积分形式应用链式法则计算。
• 该模型提供了一种统一的、可微分的机制，用于联合时空预测，可推广传统点过程模型。
• 使用神经网络参数化强度函数，使模型能够捕捉超越参数假设的复杂非线性事件动态依赖关系。