[论文解读] Sparse Bayesian Structure Learning with Dependent Relevance Determination Priors

Anqi Wu, Mijung Park+2 more|arXiv (Cornell University)|Dec 8, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用 12

一句话总结

该论文提出了一种分层贝叶斯模型，通过使用变换高斯过程对先验方差之间的依赖关系进行建模，并结合结构化傅里叶先验，实现区域稀疏的回归权重。该方法在原始域和傅里叶域中同时促进稀疏性，在模拟数据和脑影像数据上优于组套索和光滑相关向量机。

ABSTRACT

In many problem settings, parameter vectors are not merely sparse, but dependent in such a way that non-zero coefficients tend to cluster together. We refer to this form of dependency as region sparsity. Classical sparse regression methods, such as the lasso and automatic relevance determination (ARD), model parameters as independent a priori, and therefore do not exploit such dependencies. Here we introduce a hierarchical model for smooth, region-sparse weight vectors and tensors in a linear regression setting. Our approach represents a hierarchical extension of the relevance determination framework, where we add a transformed Gaussian process to model the dependencies between the prior variances of regression weights. We combine this with a structured model of the prior variances of Fourier coefficients, which eliminates unnecessary high frequencies. The resulting prior encourages weights to be region-sparse in two different bases simultaneously. We develop efficient approximate inference methods and show substantial improvements over comparable methods (e.g., group lasso and smooth RVM) for both simulated and real datasets from brain imaging.

研究动机与目标

• 为解决经典稀疏回归方法（如套索和ARD）的局限性，这些方法假设先验独立，无法利用非零系数的聚类特性。
• 在高维线性回归设置中，对非零回归系数在空间或时间上呈现聚类特性的区域稀疏性进行建模。
• 开发一种分层先验结构，通过变换高斯过程编码回归权重先验方差之间的依赖关系。
• 在傅里叶系数上引入结构化先验，以抑制高频分量并强制平滑性。
• 实现高效的近似推断，并在真实和模拟数据集上展示优越性能，尤其在脑影像场景中。

提出的方法

• 提出一种分层贝叶斯模型，其中回归权重被赋予独立的正态先验，其方差由变换高斯过程控制，以在非零系数之间诱导依赖性。
• 使用变换高斯过程对回归权重的先验方差进行建模，从而允许非零系数呈现平滑且聚类的模式。
• 在方差过程的傅里叶系数上引入结构化先验，以消除不必要的高频分量并强制平滑性。
• 将方差过程先验与基于傅里叶的正则化相结合，以在原始域和频域中同时鼓励区域稀疏性。
• 采用变分推断实现高效的近似后验计算，使模型在高维设置下具备可扩展性。
• 推导出一种联合先验，不仅在系数空间中促进稀疏性，也在傅里叶域中促进稀疏性，从而增强平滑性和聚类性。

实验结果

研究问题

• RQ1 通过建模回归系数先验方差之间的依赖关系，分层贝叶斯模型能否有效捕捉区域稀疏性？
• RQ2 在稀疏回归中，将变换高斯过程用于先验方差是否能显著提升相对于独立先验假设的性能？
• RQ3 在时间/频率域和空间域中，对傅里叶系数添加结构化先验在多大程度上能增强平滑性和稀疏性？
• RQ4 在真实脑影像数据上，该方法与组套索和光滑相关向量机相比，在预测准确性和稀疏结构方面表现如何？
• RQ5 该模型能否在保持计算效率的同时，在高维设置下实现更好的区域稀疏恢复？

主要发现

• 在模拟数据和真实脑影像数据集上，该方法在预测性能方面显著优于组套索和光滑相关向量机。
• 通过利用变换高斯过程对先验方差的依赖关系，该模型成功诱导出区域稀疏的权重向量。
• 在傅里叶系数上引入结构化先验能有效抑制高频分量，从而产生更平滑、更一致的非零系数模式。
• 在原始域和傅里叶域中联合建模稀疏性，显著提升了在高维回归中对聚类且有意义特征的恢复能力。
• 高效的变分推断使该模型能够可扩展地应用于大规模问题，包括具有数千个特征的神经影像数据。
• 实证结果表明，与标准稀疏回归技术相比，该方法能更好地保持非零系数在空间或时间上的聚类特性。