[论文解读] Sparse and low-rank multivariate Hawkes processes

Bacry, Emmanuel, Martin Bompaire+2 more|arXiv (Cornell University)|Jan 4, 2015

Point processes and geometric inequalities被引用 11

一句话总结

本文提出了一种稀疏且低秩的多变量霍克斯过程模型，用于从高频事件时间戳中推断潜在的交互网络。通过在最小二乘损失框架中结合ℓ₁范数和迹范数惩罚，实现了稀疏性和低秩结构的联合发现，并提出了一种新颖的数据驱动连续时间矩阵鞅的浓度不等式，从而确保了精确的理论保证和自适应的惩罚调参。

ABSTRACT

We consider the problem of unveiling the implicit network structure of node interactions (such as user interactions in a social network), based only on high-frequency timestamps. Our inference is based on the minimization of the least-squares loss associated with a multivariate Hawkes model, penalized by $\ell_1$ and trace norm of the interaction tensor. We provide a first theoretical analysis for this problem, that includes sparsity and low-rank inducing penalizations. This result involves a new data-driven concentration inequality for matrix martingales in continuous time with observable variance, which is a result of independent interest and a broad range of possible applications since it extends to matrix martingales former results restricted to the scalar case. A consequence of our analysis is the construction of sharply tuned $\ell_1$ and trace-norm penalizations, that leads to a data-driven scaling of the variability of information available for each users. Numerical experiments illustrate the significant improvements achieved by the use of such data-driven penalizations.

研究动机与目标

• 在不依赖标注或分段级联数据的前提下，从高频事件时间戳中推断潜在的交互网络。
• 利用具有自激励和外生强度的多变量霍克斯过程，对社交或金融网络中的用户交互进行建模。
• 通过ℓ₁范数和迹范数正则化，联合诱导交互矩阵的稀疏性和低秩结构。
• 开发一种理论基础坚实、数据驱动的惩罚参数调参方法，用于估计过程。
• 在联合稀疏性和低秩约束下，为泛化误差提供精确的Oracle不等式。

提出的方法

• 基于观测到的事件时间戳，为多变量霍克斯过程构建最小二乘损失函数。
• 在交互张量和基线强度上引入ℓ₁范数与迹范数的联合惩罚，以促进稀疏性和低秩结构。
• 推导出一种适用于可观测方差的连续时间矩阵鞅的新数据驱动浓度不等式，将标量结果推广至矩阵情形。
• 利用该浓度不等式构造出与数据自适应的惩罚参数，其尺度与每个节点的信息变异性相关。
• 采用批量近端梯度下降算法求解具有光滑与非光滑分量的凸优化问题。
• 在模拟数据上应用该框架，验证所提出的数据驱动惩罚策略的有效性。

实验结果

研究问题

• RQ1 能否通过ℓ₁范数和迹范数惩罚，在多变量霍克斯过程中有效诱导出联合稀疏性和低秩结构，从而实现从事件数据中进行网络推断？
• RQ2 如何基于观测数据自适应地调整惩罚参数，以提高估计精度？
• RQ3 在霍克斯模型中，联合稀疏性和低秩约束下，泛化误差的理论保证是什么？
• RQ4 能否推导出一种适用于连续时间矩阵鞅的新浓度不等式，并用于支持数据驱动的惩罚？
• RQ5 与固定或交叉验证调参方法相比，数据驱动惩罚在性能提升方面有多大程度的改善？

主要发现

• 本文建立了包含稀疏性与低秩诱导惩罚的泛化误差的精确Oracle不等式。
• 推导出一种适用于连续时间矩阵鞅的新数据驱动浓度不等式，该结果本身具有独立兴趣，并扩展了先前的标量结果。
• 理论分析导出了反映每个节点信息变异性程度的数据自适应惩罚参数缩放方式。
• 数值实验表明，与标准或固定调参方法相比，使用所提出的自适应惩罚策略可显著提升性能。
• 该方法即使在存在噪声和观测有限的情况下，也能成功从高频事件数据中恢复出底层的交互网络结构。
• 所推导的浓度不等式使得更紧的边界和更可靠的霍克斯过程参数估计成为可能。