[论文解读] Multivariate Hawkes Processes for Large-scale Inference

Rémi Lemonnier, Kevin Scaman+1 more|arXiv (Cornell University)|Feb 26, 2016

Point processes and geometric inequalities被引用 9

一句话总结

本文提出低秩霍克斯过程（LRHP），一种可扩展的大规模多变量点过程推断框架，通过低秩近似触发核矩阵，将计算复杂度从 $O(nd^2)$ 降低至 $O(ndr^2)$，其中 $r \ll d,n$。该方法在合成数据和真实世界数据（包括大规模社交与金融事件数据）上实现了高效非参数学习，同时保持了高预测精度。

ABSTRACT

In this paper, we present a framework for fitting multivariate Hawkes processes for large-scale problems both in the number of events in the observed history $n$ and the number of event types $d$ (i.e. dimensions). The proposed Low-Rank Hawkes Process (LRHP) framework introduces a low-rank approximation of the kernel matrix that allows to perform the nonparametric learning of the $d^2$ triggering kernels using at most $O(ndr^2)$ operations, where $r$ is the rank of the approximation ($r \ll d,n$). This comes as a major improvement to the existing state-of-the-art inference algorithms that are in $O(nd^2)$. Furthermore, the low-rank approximation allows LRHP to learn representative patterns of interaction between event types, which may be valuable for the analysis of such complex processes in real world datasets. The efficiency and scalability of our approach is illustrated with numerical experiments on simulated as well as real datasets.

研究动机与目标

• 解决现有大规模多变量霍克斯过程推断方法在高事件数量（$n$）和高维性（$d$）数据集上的计算不可行性。
• 开发一种可扩展的框架，用于多变量霍克斯过程中 $d^2$ 个触发核的非参数估计。
• 通过核矩阵的低秩分解，实现事件类型间代表性交互模式的高效学习。
• 在保持最先进预测精度的同时，实现 $n$ 和 $d$ 的线性时间复杂度。
• 在存在网络稀疏性时，利用其进一步提升在结构化真实数据集上的可扩展性。

提出的方法

• 提出对 $d \times d$ 触发核矩阵进行低秩近似，将参数数量从 $d^2$ 减少至 $O(dr)$。
• 通过 $d \times r$ 投影矩阵 $P$ 将触发核建模为 $r$ 个指数基函数的线性组合。
• 利用最小化-最大化法与自共轭优化技术，推导出具有 $O(ndr^2)$ 复杂度的高效推断算法。
• 引入辅助函数，以确保低秩参数迭代优化过程中的收敛性。
• 在已知交互图时，引入网络结构（如邻接矩阵 $A$），以利用稀疏性并进一步降低计算量。
• 将算法应用于模拟数据和真实世界数据集（包括社交媒体与金融交易数据），以验证其可扩展性与准确性。

实验结果

研究问题

• RQ1 低秩近似触发核矩阵是否能显著降低多变量霍克斯过程推断的计算复杂度，同时不牺牲预测精度？
• RQ2 低秩结构在真实世界高维数据集中，能否有效捕捉事件类型之间的代表性交互模式？
• RQ3 与具有 $O(nd^2)$ 复杂度的最先进方法相比，所提出的 LRHP 算法在 $n$ 和 $d$ 较大时的可扩展性如何？
• RQ4 该算法在真实世界数据集（如社交媒体事件流与金融交易日志）上是否保持高性能？
• RQ5 该方法能否有效利用交互网络中的稀疏性，以进一步提升计算效率？

主要发现

• LRHP 算法实现了 $O(ndr^2)$ 的计算复杂度，相较于现有最先进方法的 $O(nd^2)$ 复杂度有显著提升。
• 在合成数据集上，LRHP 恢复真实触发核的精度与全秩方法相当，但速度高出数个数量级。
• 在 MT 3 真实世界数据集上，LRHP 的预测性能与最佳基线方法（MMEL）相差不足 1%，同时显著更快。
• 低秩分解成功捕捉了事件类型之间的有意义交互模式，如 MT 3 数据集学习到的低维嵌入所可视化所示。
• 当提供底层交互网络时，算法可完全利用稀疏性，进一步降低计算时间，实现对更大图的可扩展性。
• 实证结果证实，LRHP 在包括社交媒体与金融交易日志在内的多样化数据集上，均保持了高推断与预测精度，同时可扩展至大规模 $n$ 和 $d$。