[论文解读] Self-Attentive Hawkes Processes

Qiang Zhang, Aldo Lipani+2 more|arXiv (Cornell University)|Jul 17, 2019

Morphological variations and asymmetry参考文献 47被引用 23

一句话总结

本文提出了一种自注意霍克斯过程（Self-Attentive Hawkes Process, SAHP），利用自注意力机制建模异步、多模态且相互关联的事件序列，在预测准确性和可解释性方面优于基于RNN的替代方法。通过用时间感知的相位偏移正弦函数替代标准的位置嵌入，SAHP能够捕捉事件间的时间间隔，从而实现更精确的强度建模，并通过学习到的注意力权重揭示可解释的同辈影响模式。

ABSTRACT

Asynchronous events on the continuous time domain, e.g., social media actions and stock transactions, occur frequently in the world. The ability to recognize occurrence patterns of event sequences is crucial to predict which typeof events will happen next and when. A de facto standard mathematical framework to do this is the Hawkes process. In order to enhance expressivity of multivariate Hawkes processes, conventional statistical methods and deep recurrent networks have been employed to modify its intensity function. The former is highly interpretable and requires small size of training data but relies on correct model design while the latter has less dependency on prior knowledge and is more powerful in capturing complicated patterns. We leverage pros and cons of these models and propose a self-attentive Hawkes process(SAHP). The proposed method adapts self-attention to fit the intensity function of Hawkes processes. This design has two benefits:(1) compared with conventional statistical methods, the SAHP is more powerful to identify complicated dependency relationships between temporal events; (2)compared with deep recurrent networks, the self-attention mechanism is able to capture longer historical information, and is more interpretable because the learnt attention weight tensor shows contributions of each historical event. Experiments on four real-world datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 探究在自然语言处理中已被证明有效的自注意力机制，是否能够提升霍克斯过程对异步、多模态及相互关联事件序列的建模能力。
• 解决传统自注意力机制在处理时序事件序列时的局限性，即标准位置嵌入忽略了事件之间实际的时间间隔。
• 提出一种新颖的时间偏移位置嵌入方法，将事件间的时间间隔转化为正弦函数的相位偏移。
• 通过使注意力权重揭示一种事件类型对另一种事件类型的影响，提升模型的可解释性。
• 证明SAHP在拟合优度和下一次事件预测任务中，优于现有的基于RNN和标准霍克斯过程的模型。

提出的方法

• 通过将位置嵌入修改为编码时间间隔的正弦函数相位偏移，将自注意力机制适配于连续时间事件序列。
• 使用缩放点积注意力计算历史事件对下一次事件强度的影响，基于事件嵌入之间的查询-键-值交互。
• 采用时间感知的位置编码，其中正弦函数的相位偏移与事件间时间成正比，从而保留时间动态特性。
• 将霍克斯过程的条件强度函数建模为过去事件影响的加权和，其中注意力权重表示相对贡献。
• 通过在事件序列上使用最大似然估计进行端到端训练，同时优化事件类型和时间的预测。
• 通过分析和可视化不同事件类型之间的注意力权重，实现可解释性，揭示统计上的影响模式。

实验结果

研究问题

• RQ1 自注意力机制能否有效建模时序点过程中复杂、异步且多模态的事件序列？
• RQ2 如何对传统自注意力机制进行改进，以保留时间信息，特别是对连续时间事件建模至关重要的事件间时间间隔？
• RQ3 所提出的时序偏移位置嵌入方法是否在霍克斯过程中相比标准正弦或学习型位置编码，显著提升模型性能？
• RQ4 所提出模型中的注意力权重能否揭示不同事件类型之间有意义且可解释的同辈影响模式？
• RQ5 在预测准确性和模型拟合方面，自注意霍克斯过程相较于基于RNN和标准霍克斯过程的模型表现如何？

主要发现

• 自注意霍克斯过程（SAHP）在一项合成数据集和四个真实世界数据集上，在拟合优度和下一次事件预测任务中均表现出优越性能，优于最先进的基于RNN和标准霍克斯模型。
• 所提出的时序偏移位置嵌入方法通过将事件间时间间隔转化为正弦函数的相位偏移，有效编码了这些时间间隔，显著提升了模型的表达能力。
• SAHP中的注意力权重显示，模型倾向于关注同类型的历史事件（对角注意力），表明事件序列中存在自激励模式。
• 非对角注意力模式，如在“成员”与“委员会会议”之间，或“助推者与启蒙者”与“宣传员”之间，表明存在统计上显著的跨类型影响，反映了真实世界序列中的共现模式。
• 与基于RNN的模型相比，该模型展现出更高的可解释性，因为注意力权重可直接揭示某一事件类型对另一事件类型发生概率的贡献，从而实现对同辈影响的清晰分析。
• 实证结果证实，SAHP比固定强度或基于RNN的霍克斯过程更有效地捕捉事件动态中的复杂记忆效应和非可加依赖关系。