[论文解读] Neural Spatio-Temporal Point Processes

Ricky T. Q. Chen, Brandon Amos+1 more|arXiv (Cornell University)|Nov 9, 2020

Time Series Analysis and Forecasting参考文献 63被引用 5

一句话总结

本文提出了神经时空点过程（Neural STPPs），一种新颖的框架，利用神经ODE和两种新架构——跳跃型（Jump）与注意力型连续时间归一化流（Attentive Continuous-time Normalizing Flows），对复杂、高保真的时空事件数据进行建模，并实现精确的似然计算。该方法通过基于事件历史的灵活连续条件分布，联合建模时间与空间依赖关系，在多个领域中实现了最先进性能。

ABSTRACT

We propose a new class of parameterizations for spatio-temporal point processes which leverage Neural ODEs as a computational method and enable flexible, high-fidelity models of discrete events that are localized in continuous time and space. Central to our approach is a combination of continuous-time neural networks with two novel neural architectures, i.e., Jump and Attentive Continuous-time Normalizing Flows. This approach allows us to learn complex distributions for both the spatial and temporal domain and to condition non-trivially on the observed event history. We validate our models on data sets from a wide variety of contexts such as seismology, epidemiology, urban mobility, and neuroscience.

研究动机与目标

• 开发一种灵活、高保真的时空点过程建模框架，能够捕捉连续时间与空间中的复杂依赖关系。
• 通过实现精确似然计算，克服现有STPPs依赖近似、闭式解或离散时间/空间的局限性。
• 将神经网络与连续时间归一化流及事件历史条件化相结合，实现对时空动态的表达性强、可计算的建模。
• 为多样化科学领域中的时空事件建模构建新的基准数据集。
• 在地震学、流行病学、城市交通流动性和神经科学的真实世界数据上展示卓越性能。

提出的方法

• 该方法采用神经ODE作为计算引擎，用于建模时空点过程中条件强度函数的连续时间演化。
• 提出两种新型神经架构：Jump CNF通过基于事件历史的不连续跳跃来建模瞬时分布变化；Attentive CNF则利用自注意力机制动态关注所有先前事件。
• 该框架使用连续归一化流（CNFs）来建模随时间平滑演化且基于事件历史条件化的灵活连续空间分布。
• 通过变量变换公式精确计算联合对数似然，实现无需蒙特卡洛近似的可训练性。
• 通过神经ODE求解器的反向传播端到端训练模型，支持对复杂非马氏依赖关系的基于梯度的优化。
• 该方法支持连续标记，并可在不进行离散化的情况下建模复杂、多模态的空间事件传播。

实验结果

研究问题

• RQ1 我们能否利用神经网络和连续时间流，实现精确似然计算，对高保真时空事件过程进行建模？
• RQ2 基于跳跃和基于注意力的条件化机制在捕捉事件序列历史依赖动态方面表现如何比较？
• RQ3 Neural STPPs 是否能在复杂真实世界时空数据上超越现有模型（如Neural Hawkes Processes和Neural Jump SDEs）？
• RQ4 与离散或参数化近似相比，建模连续空间分布能在多大程度上提升性能？
• RQ5 该模型能否在统一架构下跨地震学、流行病学和神经科学等多样化领域实现良好泛化？

主要发现

• Attentive CNF模型在所有测试数据集上均达到最高对数似然，优于Time-varying CNF和Neural Jump SDE基线模型。
• 在Covid-19数据集上，Neural STPPs在空间似然方面显著优于自激发Hawkes过程，尽管后者是传染病的强基线模型。
• Jump CNF与Attentive CNF模型的对数似然显著优于Time-varying CNF，表明历史依赖建模能提升性能。
• Attentive CNF在时间对数似然方面优于Jump CNF，归因于其能关注所有历史事件，而非将历史压缩为隐藏状态。
• 即使采用与Neural Jump SDEs相同的时序架构，该模型在空间和时间对数似然上均实现统计上显著的性能提升。
• Attentive CNF在推理速度上优于Jump CNF，尽管性能相近，归因于其更高效的注意力机制。