[论文解读] Nonparametric Markovian Learning of Triggering Kernels for Mutually Exciting and Mutually Inhibiting Multivariate Hawkes Processes

Rémi Lemonnier, Nicolas Vayatis|arXiv (Cornell University)|May 16, 2014

Point processes and geometric inequalities参考文献 17被引用 7

一句话总结

本文提出MEMIP，一种非参数马尔可夫算法，用于在具有相互激发和抑制作用的多变量霍克斯过程中学习触发核，通过指数基函数上的多项式逼近实现。该方法通过凹对数似然公式实现O(N)复杂度，在合成数据和真实世界数据上预测事件和恢复真实核动态方面优于最先进的方法（如MMEL和指数核）。

ABSTRACT

In this paper, we address the problem of fitting multivariate Hawkes processes to potentially large-scale data in a setting where series of events are not only mutually-exciting but can also exhibit inhibitive patterns. We focus on nonparametric learning and propose a novel algorithm called MEMIP (Markovian Estimation of Mutually Interacting Processes) that makes use of polynomial approximation theory and self-concordant analysis in order to learn both triggering kernels and base intensities of events. Moreover, considering that N historical observations are available, the algorithm performs log-likelihood maximization in $O(N)$ operations, while the complexity of non-Markovian methods is in $O(N^{2})$. Numerical experiments on simulated data, as well as real-world data, show that our method enjoys improved prediction performance when compared to state-of-the art methods like MMEL and exponential kernels.

研究动机与目标

• 解决在大规模数据中学习具有相互激发和抑制作用的多变量霍克斯过程的挑战。
• 开发一种非参数方法，无需假设参数形式，即可估计时变背景强度和一般触发核。
• 通过精确似然的马尔可夫凹公式化，实现线性时间对数似然计算和全局收敛。
• 在存在抑制作用和动态背景强度的场景下，相比现有方法（如MMEL和指数核），提升预测准确性和核恢复能力。

提出的方法

• 该方法利用多项式逼近理论，将触发核表示为无记忆指数基函数的线性组合。
• 将对数似然最大化重新表述为自共轭凹优化问题，实现全局收敛和高效优化。
• 通过将触发核投影到指数基上，构建马尔可夫估计器，利用单次遍历数据处理方案确保O(N)复杂度。
• 通过在导数上施加L²范数的粗糙度惩罚，并由超参数α控制，以防止过拟合。
• 允许在核分解中出现负系数，从而能够建模非负参数模型无法捕捉的抑制效应。
• 该方法支持对时变背景强度μᵤ(t)的数据驱动估计，而标准模型则假设μᵤ为常数。

实验结果

研究问题

• RQ1 非参数马尔可夫方法能否以线性时间复杂度学习多变量霍克斯过程中兴奋性和抑制性触发核？
• RQ2 在存在抑制性相互作用的情况下，允许核分解中出现负系数是否能提升建模准确性？
• RQ3 与恒定强度假设相比，数据驱动估计时变背景强度是否能提升预测性能？
• RQ4 在预测准确性和核恢复方面，该方法与最先进的MMEL和指数核方法相比表现如何？
• RQ5 在真实世界和模拟场景中，该方法对超参数α（平滑度）和K（基函数阶数）的敏感性如何？

主要发现

• 在300维、p=1的模拟数据上，MEMIP的Diff得分为0.759 [0.755, 0.768]，显著优于MMEL（0.807）和指数核（0.791）。
• 在10%抑制核的模拟数据集中，MEMIP的Diff得分为0.803 [0.793, 0.810]，优于MMEL（0.839）和指数核（0.830）。
• 在MemeTracker数据集上，MEMIP在K=10时预测AUC达到0.8021，超过MMEL（0.6928）和指数核（0.7716）。
• MEMIP对超参数α表现出鲁棒性，在广泛取值范围内均保持高性能，而MMEL对平滑度选择较为敏感。
• 该方法实现了对数似然计算的O(N)复杂度，而非性马尔可夫方法通常为O(N²)，从而可扩展至大规模数据集。
• 即使在K=3时，MEMIP也实现了出色的预测性能，表明其在低基维数下仍具有效逼近能力。