[论文解读] Variational Mixture Models with Gamma or inverse-Gamma components

Alberto Llera, Diego Vidaurre+2 more|arXiv (Cornell University)|Jul 26, 2016

Bayesian Methods and Mixture Models参考文献 17被引用 10

一句话总结

本文提出了针对具有伽马分布或逆伽马分布分量的高斯混合模型的完全解析变分贝叶斯（VB）算法，实现了神经影像学中高效且稳健的推断。所提出的 bGIM（贝叶斯高斯/逆伽马混合）模型在准确性和计算效率方面优于最大似然方法，尤其适用于高分辨率 fMRI 数据，相较于稀疏（GIM）或密集（bGGM）模型提供了更均衡的解决方案。

ABSTRACT

Mixture models with Gamma and or inverse-Gamma distributed mixture components are useful for medical image tissue segmentation or as post-hoc models for regression coefficients obtained from linear regression within a Generalised Linear Modeling framework (GLM), used in this case to separate stochastic (Gaussian) noise from some kind of positive or negative "activation" (modeled as Gamma or inverse-Gamma distributed). To date, the most common choice in this context it is Gaussian/Gamma mixture models learned through a maximum likelihood (ML) approach; we recently extended such algorithm for mixture models with inverse-Gamma components. Here, we introduce a fully analytical Variational Bayes (VB) learning framework for both Gamma and/or inverse-Gamma components. We use synthetic and resting state fMRI data to compare the performance of the ML and VB algorithms in terms of area under the curve and computational cost. We observed that the ML Gaussian/Gamma model is very expensive specially when considering high resolution images; furthermore, these solutions are highly variable and they occasionally can overestimate the activations severely. The Bayesian Gauss-Gamma is in general the fastest algorithm but provides too dense solutions. The maximum likelihood Gaussian/inverse-Gamma is also very fast but provides in general very sparse solutions. The variational Gaussian/inverse-Gamma mixture model is the most robust and its cost is acceptable even for high resolution images. Further, the presented methodology represents an essential building block that can be directly used in more complex inference tasks, specially designed to analyse MRI-fMRI data; such models include for example analytical variational mixture models with adaptive spatial regularization or better source models for new spatial blind source separation approaches.

研究动机与目标

• 开发一种针对具有伽马分布和/或逆伽马分布分量的混合模型的完全解析变分贝叶斯框架，以解决现有最大似然（ML）方法的局限性。
• 在神经影像应用中提升计算效率和鲁棒性，特别是针对最大似然方法变得难以承受的高分辨率 fMRI 数据。
• 提供一种原则性的贝叶斯替代方案，支持不确定性量化，并可集成到更大的推理流程中，如空间正则化模型或盲源分离。
• 在检测准确率（AUC）、解的稀疏性/密度以及计算成本方面，评估新 VB 算法与最先进 ML 方法的性能表现。

提出的方法

• 提出两种新颖的变分贝叶斯算法：bGGM（贝叶斯高斯/伽马混合）和 bGIM（贝叶斯高斯/逆伽马混合），用于实现参数的解析估计。
• 对大多数参数使用共轭先验，并应用拉普拉斯近似和泰勒展开来计算伽马和逆伽马分量中非共轭形状参数的后验期望。
• 对所有其他参数采用标准变分贝叶斯更新，确保解析可解性和计算效率。
• 为形状参数引入未归一化的共轭先验，以在变分推理框架中实现闭式近似。
• 使用合成数据和真实静息态 fMRI 数据验证该方法，从 100 名受试者中提取 4400 个空间图用于评估。
• 在多个分辨率（1–4 mm）下，通过 AUC、激活图的稀疏性/密度以及计算运行时间，将性能与基于最大似然的 GGM 和 GIM 模型进行比较。

实验结果

研究问题

• RQ1 所提出的解析变分贝叶斯算法（bGGM 和 bGIM）在合成和真实 fMRI 数据上的检测准确率（AUC）方面，与最大似然方法（GGM 和 GIM）相比表现如何？
• RQ2 不同模型在解的稀疏性与敏感性之间的权衡如何，特别是对正负激活的检测能力？
• RQ3 计算成本如何随图像分辨率变化？与现有基于最大似然的方法相比，新 VB 方法能否显著降低运行时间？
• RQ4 bGIM 模型能否作为神经影像学流程中广泛应用的 GGM 模型的稳健且高效的替代方案？
• RQ5 所提出的 VB 框架在多大程度上可扩展至更复杂的推理任务，如空间正则化分割或具有非高斯源的变分 ICA？

主要发现

• bGIM 模型在所有指标上均表现出最稳健的性能，与 GIM（过于稀疏）和 bGGM（过于密集）相比，显著实现了敏感性与稀疏性之间的更好平衡。
• GGM 模型计算成本最高，运行时间方差大，尤其在高分辨率（如 1 mm）时，使其在大规模 fMRI 分析中不切实际。
• bGGM 模型速度最快，但产生过度密集的激活图，导致特异性差和假阳性率高。
• bGIM 模型在准确率与速度之间实现了有利的权衡，计算成本分布紧凑，即使在 1 mm 分辨率下也能保持可接受的运行时间。
• 配对 t 检验表明，bGIM 在大多数评估场景中显著优于其他模型，尤其在检测具有生物学合理性的激活模式方面表现突出。
• 所提出的 VB 框架可高效地将伽马/逆伽马分量集成到更大的贝叶斯模型中，如空间正则化混合模型或变分 ICA，替代昂贵的数值优化步骤。