[论文解读] Penalized maximum likelihood estimation for generalized linear point processes

Niels Richard Hansen|arXiv (Cornell University)|Mar 3, 2010

Point processes and geometric inequalities参考文献 34被引用 3

一句话总结

该论文为Sobolev空间中具有函数型预测变量的广义线性点过程提出了一种惩罚最大似然估计框架，利用Gâteaux可微性和再生核希尔伯特空间理论。研究证明，在特定情况下，惩罚估计量位于有限维样条类空间中，并提出了一种基于无限维Sobolev空间中梯度流的下降算法，具有收敛性保证，并应用于神经元动作电位发放序列和基因组学数据。

ABSTRACT

A generalized linear point process is specified in terms of an intensity that depends upon a linear predictor process through a fixed non-linear function. We present a framework where the linear predictor is parametrized by a Banach space and give results on Gateaux differentiability of the log-likelihood. Of particular interest is when the intensity is expressed in terms of a linear filter parametrized by a Sobolev space. Using that the Sobolev spaces are reproducing kernel Hilbert spaces we derive results on the representation of the penalized maximum likelihood estimator in a special case and the gradient of the negative log-likelihood in general. The latter is used to develop a descent algorithm in the Sobolev space. We conclude the paper by extensions to multivariate and additive model specifications. The methods are implemented in the R-package ppstat.

研究动机与目标

• 为具有Banach空间中函数型预测变量的广义线性点过程的惩罚最大似然估计建立理论框架。
• 证明参数化为Sobolev空间的强度函数的对数似然函数的Gâteaux可微性。
• 在特殊情况下推导出惩罚最大似然估计的有限维表示形式，其结构类似于平滑样条。
• 提出一种基于负对数似然梯度的无限维Sobolev空间中的下降算法。
• 将该框架扩展至多变量和可加点过程模型，以应用于神经科学与基因组学领域。

提出的方法

• 使用Sobolev空间中元素对点过程强度的线性预测变量进行参数化，该空间同时也是再生核希尔伯特空间。
• 利用Gâteaux微分方法，推导出负对数似然泛函在Sobolev空间中的梯度。
• 通过计数过程与预测变量的随机积分，将对数似然及其梯度表示为连续线性泛函。
• 在弱紧性和弱连续性假设下，证明梯度范数趋于零，从而建立下降算法的收敛性。
• 利用Sobolev空间的再生核性质，在特殊情况下将惩罚最大似然估计表示为显式基函数张成的有限维子空间中的形式。
• 将算法实现为一系列有限维近似，其弱拓扑收敛于真实解。

实验结果

研究问题

• RQ1 能否为Sobolev空间中具有函数型预测变量的广义线性点过程，严格构建惩罚最大似然估计？
• RQ2 在何种条件下，惩罚最大似然估计位于有限维子空间中？此类情况下的基函数具有何种结构？
• RQ3 如何在无限维Sobolev空间中表示并计算负对数似然的梯度？
• RQ4 能否为这一类非参数点过程模型构造并证明下降算法的收敛性？
• RQ5 在此框架下，惩罚最大似然估计可建立哪些理论保证（如收敛性、有界性）？

主要发现

• 在特殊情况下，惩罚最大似然估计量位于由显式定义的基函数张成的有限维子空间中，其结构类似于平滑样条。
• 负对数似然在Sobolev空间的有界集上具有下界，从而保证最小化解的存在性。
• 负对数似然的梯度具有序列弱-弱连续性，支持对迭代算法的收敛性分析。
• 由于参数空间的有界性与弱紧性，基于梯度步长的下降算法弱收敛于真实最小化解。
• 在再生核希尔伯特空间中的弱收敛，意味着估计强度函数的逐点收敛性。
• 该框架可扩展至多变量与可加模型，支持对复杂点过程数据（如神经元动作电位发放序列与基因组调控元件）的应用。