[论文解读] Stein Variational Online Changepoint Detection with Applications to Hawkes Processes and Neural Networks

Gianluca Detommaso, Hanne Hoitzing+2 more|arXiv (Cornell University)|Jan 23, 2019

Point processes and geometric inequalities参考文献 34被引用 5

一句话总结

本文提出斯坦因变分在线变化点检测（SVOCD），一种可扩展的贝叶斯在线方法，通过将贝叶斯在线变化点检测与斯坦因变分牛顿（SVN）方法相结合，将传统BOCPD扩展至指数族分布之外，实现高效的后验推断。SVOCD在霍克斯过程和贝叶斯LSTM等复杂模型中实现了准确、实时的变化点检测，其后验估计性能优于基于SMC的方法，同时降低了误报率和漏报率。

ABSTRACT

Bayesian online changepoint detection (BOCPD) (Adams & MacKay, 2007) offers a rigorous and viable way to identify changepoints in complex systems. In this work, we introduce a Stein variational online changepoint detection (SVOCD) method to provide a computationally tractable generalization of BOCPD beyond the exponential family of probability distributions. We integrate the recently developed Stein variational Newton (SVN) method (Detommaso et al., 2018) and BOCPD to offer a full online Bayesian treatment for a large number of situations with significant importance in practice. We apply the resulting method to two challenging and novel applications: Hawkes processes and long short-term memory (LSTM) neural networks. In both cases, we successfully demonstrate the efficacy of our method on real data.

研究动机与目标

• 解决贝叶斯在线变化点检测（BOCPD）在非共轭、非指数族模型中的局限性，这些模型中共轭先验失效。
• 开发一种计算高效、在线的贝叶斯推断框架，支持在复杂、高维模型中实现实时变化点检测。
• 通过利用先进的变分推断技术，将BOCPD扩展至缺乏闭式后验分布的模型，如霍克斯过程和贝叶斯LSTM。
• 在真实世界数据上验证该方法的有效性，特别是在检测金融时间序列和点过程动态中的结构性变化方面。
• 在后验近似精度和变化点检测可靠性方面，将SVOCD的性能与基于SMC的方法进行比较。

提出的方法

• 将贝叶斯在线变化点检测（BOCPD）与斯坦因变分牛顿（SVN）方法相结合，实现基于粒子的在线后验近似。
• 使用一组粒子表示后验分布，通过确定性传输迭代更新，以在数据到达时逼近真实后验。
• 将前一时间步的后验作为下一更新的初始粒子分布，实现快速在线推断并最小化重新计算量。
• 利用SVN在高维参数空间中相比SVG对收敛性和可扩展性的优势，以应对神经网络和点过程中的常见高维问题。
• 采用顺序更新机制，每个新数据点仅需少数迭代即可调整粒子，确保检测延迟极低。
• 通过使用SVN训练LSTM，将BOCPD与贝叶斯LSTM结合，以保持不确定性估计并提升预测性能。

实验结果

研究问题

• RQ1 SVOCD能否在指数族之外的模型中，如霍克斯过程，实现准确、实时的变化点检测？
• RQ2 在在线设置中，SVOCD与SMC相比，在近似复杂、非高斯后验分布方面表现如何？
• RQ3 SVOCD能否有效检测由具有时变强度的点过程生成的时间序列中的结构性变化？
• RQ4 通过SVN引入贝叶斯不确定性，是否能提升LSTM的预测性能，相比确定性训练？
• RQ5 与现有BOCPD扩展方法相比，SVOCD在降低误报率和漏报率方面达到何种程度？

主要发现

• SVOCD在真实比特币价格数据中成功检测到变化点，以高时间精度识别出2017年底的峰值及随后的暴跌。
• 在合成霍克斯过程数据上，SVOCD准确追踪了变化点处的后验转移，而SMC在非高斯区域无法维持正确的后验表示。
• SVN基推断在收敛速度和精度上均优于SMC，表现为在多种粒子数量下，协方差迹估计的均方误差更低。
• SVOCD的平均误报率和漏报率显著低于BOCPD与SMC结合的方法，且在30次运行中经统计检验具有显著性。
• 通过SVN训练的贝叶斯LSTM相比确定性LSTM产生更稳健的预测，其后验均值在捕捉信号趋势方面优于众数。
• SVOCD中的基于粒子的后验近似随着粒子数量增加而渐近收敛至真实后验，验证了该方法的理论基础。