[论文解读] T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs

Changwoo J. Lee, Zhao Tang Luo+1 more|arXiv (Cornell University)|Jul 6, 2021

Statistical Methods and Inference参考文献 45被引用 4

一句话总结

T-LoHo 提出了一种贝叶斯分层模型，采用基于树的低秩正态收缩先验，以在图结构化的高维参数中诱导结构化稀疏性和平滑性。通过利用随机生成的生成森林来定义局部收缩结构，该方法实现了高效的 MCMC 推断并量化不确定性，在模拟实验和真实世界道路网络中的异常检测任务中，优于融合 lasso 及其他惩罚方法。

ABSTRACT

Graphs have been commonly used to represent complex data structures. In models dealing with graph-structured data, multivariate parameters may not only exhibit sparse patterns but have structured sparsity and smoothness in the sense that both zero and non-zero parameters tend to cluster together. We propose a new prior for high-dimensional parameters with graphical relations, referred to as the Tree-based Low-rank Horseshoe (T-LoHo) model, that generalizes the popular univariate Bayesian horseshoe shrinkage prior to the multivariate setting to detect structured sparsity and smoothness simultaneously. The T-LoHo prior can be embedded in many high-dimensional hierarchical models. To illustrate its utility, we apply it to regularize a Bayesian high-dimensional regression problem where the regression coefficients are linked by a graph, so that the resulting clusters have flexible shapes and satisfy the cluster contiguity constraint with respect to the graph. We design an efficient Markov chain Monte Carlo algorithm that delivers full Bayesian inference with uncertainty measures for model parameters such as the number of clusters. We offer theoretical investigations of the clustering effects and posterior concentration results. Finally, we illustrate the performance of the model with simulation studies and a real data application for anomaly detection on a road network. The results indicate substantial improvements over other competing methods such as the sparse fused lasso.

研究动机与目标

• 开发一种贝叶斯正则化模型，以捕捉由图连接的高维参数中的结构化稀疏性与平滑性。
• 通过使用生成森林简化依赖结构，克服图正则化在大规模图中计算受限的问题。
• 提供完整的贝叶斯推断与不确定性度量（包括聚类数量和参数估计），而不同于频率学派的惩罚方法。
• 实现自适应聚类，聚类形状灵活且尊重图的邻接性，避免因固定链序导致的过度聚类。
• 在检测空间数据与网络数据中的异常（如事件期间的交通变化）方面表现出优越性能。

提出的方法

• 提出基于树的低秩正态收缩（T-LoHo）先验，作为一元正态收缩先验的多变量扩展，可在图上诱导分段常数行为。
• 使用随机生成森林（RSF）定义兼容的邻接排序，降低计算复杂度，同时保持图结构。
• 实施分层先验，其中局部收缩参数为低秩且结构化，以实现聚类与稀疏性的联合建模。
• 采用高效的 MCMC 算法，结合吉布斯抽样与截断抽样，生成后验样本并量化不确定性。
• 将该先验应用于图结构化系数的高维线性回归，实现灵活且尊重邻接性的聚类。
• 引入全局-局部收缩机制，通过分层结构自适应地收缩无关系数，同时保留真实信号。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯先验，以在图结构化的高维参数中联合诱导结构化稀疏性与平滑性？
• RQ2 如何在不牺牲模型灵活性的前提下，提升图正则化贝叶斯模型的计算效率？
• RQ3 所提出的方法能否在检测具有不确定性量化的聚类信号方面优于频率学派的惩罚方法（如融合 lasso）？
• RQ4 与固定链序或树序相比，使用随机生成森林在保持真实聚类结构方面表现如何？
• RQ5 该模型在真实网络数据中对复杂、非凸聚类形状的适应程度如何？

主要发现

• 在所有（ϑ, SNR）设置下的模拟研究中，T-LoHo 在预测准确率与聚类准确率方面均优于稀疏融合 lasso 及其他竞争方法。
• 在纽约市骄傲游行异常检测中，T-LoHo 成功捕捉到游行路线及下曼哈顿地区出租车活动减少的情况，而融合 lasso 因软阈值化带来的偏差而失败。
• T-LoHo 生成了可靠的 90% 可信区间，展示了其量化不确定性的能力，而优化方法不具备此特性。
• 该模型检测到事件起止点附近的细微空间模式，灵敏度高于 FL。
• 使用随机生成森林实现了具有灵活形状的自适应聚类，避免了固定顺序方法常见的过度聚类问题。
• 理论结果证实了后验集中与聚类效应，支持该模型的一致性与鲁棒性。