[论文解读] The Neural Hawkes Process: A Neurally Self-Modulating Multivariate Point Process

Hongyuan Mei, Jason Eisner|arXiv (Cornell University)|Dec 29, 2016

Point processes and geometric inequalities参考文献 26被引用 162

一句话总结

本文引入 Neural Hawkes Process，一种神经自调节的多变量点过程，使用连续时间的 LSTM 来建模事件强度，能够实现对过去事件的复杂影响，包括抑制和非单调漂移，并具备强大的预测性能。

ABSTRACT

Many events occur in the world. Some event types are stochastically excited or inhibited---in the sense of having their probabilities elevated or decreased---by patterns in the sequence of previous events. Discovering such patterns can help us predict which type of event will happen next and when. We model streams of discrete events in continuous time, by constructing a neurally self-modulating multivariate point process in which the intensities of multiple event types evolve according to a novel continuous-time LSTM. This generative model allows past events to influence the future in complex and realistic ways, by conditioning future event intensities on the hidden state of a recurrent neural network that has consumed the stream of past events. Our model has desirable qualitative properties. It achieves competitive likelihood and predictive accuracy on real and synthetic datasets, including under missing-data conditions.

研究动机与目标

• 阐明超越 Hawkes 过程、能够处理激发、抑制和非加性效应的表达性事件序列模型的必要性。
• 开发一个由神经控制的强度模型，使过去事件通过连续时间的 LSTM 影响未来强度。
• 实现对实际事件流中缺失数据和复杂依赖关系的稳健处理。
• 提供用于拟合模型和生成/预测事件序列的训练与推断框架。

提出的方法

• 通过引入可以为正也可以为负并通过正性函数的自调节强度，推广 Hawkes 过程。
• 用连续时间 LSTM 替代对过去影响的加和，将根据信号事件和时间更新隐藏记忆单元，产生随时间变化的强度。
• 使用在事件之间衰减向目标的连续时间 LSTM，更新由新事件触发。
• 采用基于 softplus 的正性映射来确保强度非负，同时允许惯性与抑制。
• 通过极大似然训练，其中的积分项通过蒙特卡罗方法处理；可选地通过稀薄化算法进行仿真。

实验结果

研究问题

• RQ1 一个神经参数化的自调节多变量点过程是否能够捕捉事件序列中的激发、抑制以及非加性效应？
• RQ2 与 Hawkes 和可分解自调节模型相比，基于连续时间 LSTM 的强度模型是否提高预测似然性和下一事件的预测？
• RQ3 该模型在处理缺失数据和不完整的事件序列观测方面表现如何？
• RQ4 在建模高维事件类型（大 K）时，潜在隐藏状态在相对较小的 D 下的好处是什么？
• RQ5 该模型能否扩展到具有大量事件类型和变化序列长度的真实数据集？

主要发现

• The Neural Hawkes Process (N-SM-MPP) 在真实数据和合成数据上的预测似然性方面优于 Hawkes 与可分解自调节模型。
• 该模型在缺失数据处理方面优于 Hawkes，在被截断的序列中保持更高的预测性能。
• 连续时间 LSTM 使强度的漂移具有非单调性和上下文相关性，包括抑制和惯性效应。
• 在高类型数量设置（large K）下，潜在隐藏状态方法比完全参数化的成对交互具有更好的泛化能力且参数更少。
• 在 Retweets 和 MemeTrack 数据集上的实证结果显示对数似然和预测准确性有显著改进。