[论文解读] Reinforcement Learning of Spatio-Temporal Point Processes.

Shixiang Zhu, Shuang Li+1 more|arXiv (Cornell University)|Jun 13, 2019

Point processes and geometric inequalities参考文献 35被引用 2

一句话总结

该论文提出了一种神经嵌入时空（NEST）点过程模型，利用神经网络参数化异质高斯扩散核，实现了对复杂时空事件数据的精确且可解释的建模。该方法采用模仿学习进行训练，通过直接最小化经验数据分布与模型生成数据分布之间的差异，实现鲁棒且计算高效的训练，在真实世界数据集上达到最先进性能。

ABSTRACT

We present a novel Neural Embedding Spatio-Temporal (NEST) point process model for spatio-temporal discrete event data and develop an efficient imitation learning (a type of reinforcement learning) based approach for model fitting. Despite the rapid development of one-dimensional temporal point processes for discrete event data, the study of spatial-temporal aspects of such data is relatively scarce. Our model captures complex spatio-temporal dependence between discrete events by carefully design a mixture of heterogeneous Gaussian diffusion kernels, whose parameters are parameterized by neural networks. This is the key that our model can capture intricate spatial dependence patterns and yet still lead to interpretable results as we examine maps of Gaussian diffusion kernel parameters. The imitation learning model fitting for NEST is more robust since it directly measures the divergence between the empirical distributions between the training data and the model-generated data. Moreover, our imitation learning-based approach enjoys computational efficiency due to the explicit characterization of the reward function related to the likelihood function; furthermore, the likelihood function under our model enjoys tractable expression due to Gaussian kernel parameterization. Experiments based on real data show our method's good performance relative to the state-of-the-art and the good interpretability of NEST's result.

研究动机与目标

• 解决现有模型在有效捕捉离散事件数据中复杂时空依赖关系方面的不足。
• 开发一种灵活但可解释的时空点过程模型，能够处理空间和时间上异质的事件模式。
• 与传统的基于似然的方法相比，提升模型拟合的鲁棒性与计算效率。
• 通过基于可计算似然表达式的奖励函数，实现训练数据与模型生成数据之间的直接比较。

提出的方法

• 使用一组异质高斯扩散核的混合来参数化时空依赖关系，核参数由神经网络控制。
• 利用高斯核参数化构建模型的似然函数，确保解析可计算性，以支持高效计算。
• 应用模仿学习，通过最小化来自数据的经验事件分布与模型生成分布之间的差异来训练模型。
• 在模仿学习框架中设计一个显式关联似然函数的奖励函数，提升训练的稳定性和效率。
• 使用神经网络对空间和时间特征进行嵌入，使模型能够学习事件模式中复杂的非线性依赖关系。
• 通过在空间图上可视化学习到的高斯核参数，实现可解释性，揭示潜在的时空结构。

实验结果

研究问题

• RQ1 基于神经网络的点过程模型是否能有效捕捉离散事件数据中的复杂时空依赖关系？
• RQ2 与最大似然估计相比，模仿学习在提升时空点过程拟合的鲁棒性与效率方面有何优势？
• RQ3 该模型的内部参数在多大程度上可被解释，以揭示事件数据中具有意义的空间与时间模式？
• RQ4 所提出的 NEST 模型在建模真实世界时空事件序列方面是否优于现有最先进方法？
• RQ5 在高斯核参数化下，可计算的似然表达式是否能支持高效且可扩展的训练？

主要发现

• NEST 模型在真实世界时空事件数据集上达到最先进性能，相比现有方法展现出更优的预测准确性。
• 模仿学习方法通过直接测量训练数据与生成数据分布之间的差异，实现了更鲁棒的模型拟合。
• 由于高斯核参数化的引入，模型的似然函数保持解析可计算性，支持高效优化。
• 对学习到的高斯核参数的可视化揭示了可解释的空间模式，有助于深入理解事件动态的内在机制。
• 由于奖励函数与似然显式关联，方法的计算效率得到提升，训练开销减少。
• 实证结果证实，该模型能够捕捉到简单模型无法表达的复杂时空依赖关系。