[论文解读] Nonparametric Hawkes Processes: Online Estimation and Generalization Bounds

Yingxiang Yang, Jalal Etesami+2 more|arXiv (Cornell University)|Jan 25, 2018

Point processes and geometric inequalities参考文献 29被引用 5

一句话总结

该论文提出NPOLE-MHP，一种用于多变量霍克斯过程触发函数的非参数在线估计算法，克服了梯度计算效率低、缺乏表示定理以及正性约束计算成本高等挑战。该方法实现了$Ø(1/T)$的遗憾和稳定性，其精度与非参数批量方法相当，同时在真实和合成数据上的运行速度与参数化在线算法相当。

ABSTRACT

In this paper, we design a nonparametric online algorithm for estimating the triggering functions of multivariate Hawkes processes. Unlike parametric estimation, where evolutionary dynamics can be exploited for fast computation of the gradient, and unlike typical function learning, where representer theorem is readily applicable upon proper regularization of the objective function, nonparametric estimation faces the challenges of (i) inefficient evaluation of the gradient, (ii) lack of representer theorem, and (iii) computationally expensive projection necessary to guarantee positivity of the triggering functions. In this paper, we offer solutions to the above challenges, and design an online estimation algorithm named NPOLE-MHP that outputs estimations with a $\mathcal{O}(1/T)$ regret, and a $\mathcal{O}(1/T)$ stability. Furthermore, we design an algorithm, NPOLE-MMHP, for estimation of multivariate marked Hawkes processes. We test the performance of NPOLE-MHP on various synthetic and real datasets, and demonstrate, under different evaluation metrics, that NPOLE-MHP performs as good as the optimal maximum likelihood estimation (MLE), while having a run time as little as parametric online algorithms.

研究动机与目标

• 解决多变量霍克斯过程中非参数在线估计的挑战，包括梯度评估效率低下、缺乏表示定理以及正性投影计算成本高昂的问题。
• 开发一种在线算法，在无需严格参数假设的前提下，保持低遗憾和高稳定性，以估计非参数触发函数。
• 将框架扩展至带标记的霍克斯过程（MMHP），以建模具有连续标记的事件（如犯罪严重程度或交易量）的动态。
• 证明所提方法在性能上可与非参数批量学习方法相媲美，同时运行效率接近参数化在线方法。
• 在真实世界数据集（包括新闻媒体传播和芝加哥犯罪模式）上验证该方法，采用多种评估指标。

提出的方法

• 将时间轴离散化为长度不超过$\delta$的区间，将连续强度函数转化为离散优化问题，以控制近似误差。
• 采用在线核学习框架，利用霍克斯过程特有的到达时间间隔统计特性，设计出可计算的瞬时目标函数。
• 使用投影在线梯度下降方法，并采用精心设计的步长规则$\eta_k = 1/(k\zeta + 800)$，以确保收敛性和稳定性。
• 通过投影方法强制触发函数保持非负，由于离散化结构的设计，该过程计算高效。
• 对于多变量带标记霍克斯过程（MMHP），将触发函数扩展为依赖于时间延迟和标记（如距离或严重程度）的形式，从而实现对事件动态的更丰富建模。
• 理论分析表明，当时间范围$T$已知时，遗憾界为$\mathcal{O}(\log T)$，且每轮迭代的计算成本为$\mathcal{O}(p^2)$，其中$p$为维度数。

实验结果

研究问题

• RQ1 能否为多变量霍克斯过程设计一种非参数在线算法，避免批量学习的计算瓶颈和参数化模型的僵化性？
• RQ2 在霍克斯过程的在线非参数估计中，如何应对缺乏表示定理以及正性投影成本过高的问题？
• RQ3 在时间离散化强度近似下，霍克斯过程在线非参数估计器的理论遗憾和稳定性保证是什么？
• RQ4 所提方法能否推广至带标记霍克斯过程，使得事件标记（如犯罪严重程度、交易量）影响触发效应？
• RQ5 在线非参数方法是否能在性能上媲美批量非参数学习，同时保持与参数化在线方法相当的运行效率？

主要发现

• NPOLE-MHP 实现了$\mathcal{O}(1/T)$的遗憾和$\mathcal{O}(1/T)$的稳定性，展现出强大的理论收敛保证。
• 在合成和真实数据集上，NPOLE-MHP 在似然度及其他指标上与最优最大似然估计（MLE）性能相当。
• 该算法每轮迭代耗时$\mathcal{O}(p^2)$，尽管为非参数方法，但效率与参数化在线算法相当。
• 在芝加哥犯罪数据实验中，NPOLE-MMHP 生成的触发函数更符合实际，能反映经验标记分布（如犯罪距离市中心的距离），而OGD则近似为泊松过程。
• 在所有参数设置下，OGD 相对于 NPOLE-MMHP 的额外遗憾始终为正，表明所提方法性能更优。
• 在新闻媒体数据集上，NPOLE-MHP 的每步累积损失低于 OGD 和 DMD，证实其收敛速度更快、优化性能更优。