[论文解读] Scalable Bayesian Inference for Excitatory Point Process Networks

Scott W. Linderman, Ryan P. Adams|arXiv (Cornell University)|Jul 12, 2015

Point processes and geometric inequalities参考文献 3被引用 29

一句话总结

本文提出了一种可扩展的随机变分推断（SVI）算法，用于对建模为多变量霍克斯过程的兴奋性点过程网络进行贝叶斯推断。通过引入离散时间公式化并利用网络结构的共轭先验，该方法能够在长时间神经活动数据上实现高效推断，在连接组学数据集上的速度和预测性能优于MCMC和批量变分推断。

ABSTRACT

Networks capture our intuition about relationships in the world. They describe the friendships between Facebook users, interactions in financial markets, and synapses connecting neurons in the brain. These networks are richly structured with cliques of friends, sectors of stocks, and a smorgasbord of cell types that govern how neurons connect. Some networks, like social network friendships, can be directly observed, but in many cases we only have an indirect view of the network through the actions of its constituents and an understanding of how the network mediates that activity. In this work, we focus on the problem of latent network discovery in the case where the observable activity takes the form of a mutually-excitatory point process known as a Hawkes process. We build on previous work that has taken a Bayesian approach to this problem, specifying prior distributions over the latent network structure and a likelihood of observed activity given this network. We extend this work by proposing a discrete-time formulation and developing a computationally efficient stochastic variational inference (SVI) algorithm that allows us to scale the approach to long sequences of observations. We demonstrate our algorithm on the calcium imaging data used in the Chalearn neural connectomics challenge.

研究动机与目标

• 解决在通过事件序列间接观测相互作用的系统中潜在网络发现的挑战，例如神经元放电或社交媒体活动。
• 开发一种可扩展的推断方法，能够处理神经科学和金融数据中典型的长时间观测序列。
• 通过支持小批量处理以实现更快收敛，改进现有的MCMC和批量变分推断方法。
• 为网络连接提供校准的后验不确定性估计，这是启发式或点估计方法所不具备的。
• 在Chalearn挑战的真实连接组学数据上展示该方法的有效性，其中网络结构是从钙荧光轨迹中推断得出的。

提出的方法

• 引入多变量霍克斯过程的离散时间公式化，以提高计算效率，尤其适用于高事件率数据。
• 采用基于随机块模型（SBM）的层次先验，对交互权重施加结构化、稀疏的网络先验。
• 通过假设脉冲响应为归一化基函数的凸组合，使模型完全共轭，从而在变分推断框架中实现解析更新。
• 开发了一种处理时间点小批量的随机变分推断（SVI）算法，实现快速且可扩展的后验近似。
• 该算法采用均值场变分推断，并在小批量上高效计算充分统计量，降低每次迭代的计算成本并加速收敛。
• 通过变分后验估计后验不确定性，为推断的网络连接提供置信区间。

实验结果

研究问题

• RQ1 霍克斯过程的离散时间公式化是否能提高长时间事件序列的计算效率？
• RQ2 与MCMC或批量变分推断相比，随机变分推断（SVI）是否能更有效地扩展点过程网络中的贝叶斯网络发现？
• RQ3 与交叉相关性阈值等启发式基线方法相比，该方法在真实连接组学数据上的网络恢复是否更准确？
• RQ4 贝叶斯框架是否能为推断的网络连接提供校准的后验不确定性估计，从而提升可解释性？
• RQ5 在稀疏真实系统中，结构化先验（如随机块模型）的引入如何增强网络发现？

主要发现

• 在Chalearn连接组学挑战的Network 6上，SVI算法在链接预测任务中表现最佳，曲线下面积（PRC）达到0.410，优于MCMC和批量变分推断。
• 在Chalearn数据集的五个网络中的四个上，采用SVI的贝叶斯霍克斯模型性能优于或与基线方法相当，其PRC得分始终高于交叉相关性阈值法。
• 该算法展现出显著的速度优势：每次SVI迭代远快于Gibbs采样和批量VB，且仅使用小批量数据即可实现预测对数似然的快速提升。
• SVI的后验不确定性估计是校准良好的，高置信度预测（后验均值与标准差之比高）更可能对应真实连接，如图4(c)所示。
• 离散时间公式化使得在高事件率数据上实现高效计算成为可能，例如10分钟的50Hz钙荧光轨迹可生成300万个时间箱，使大规模推断成为可行。
• 该方法在经过OOPSI预处理后，成功从钙成像数据中恢复了网络结构，展示了在真实神经科学研究应用中的实际效用。