[论文解读] Variational Autoencoder with Truncated Mixture of Gaussians for Functional Connectivity Analysis

Qingyu Zhao, Nicolas Honnorat+2 more|arXiv (Cornell University)|Feb 11, 2019

Functional Brain Connectivity Studies被引用 3

一句话总结

该论文提出tGM-VAE，一种变分自编码器，通过将截断高斯混合模型用于主要功能连接聚类，同时使用均匀分布建模异常值，实现在噪声rs-fMRI数据中的联合聚类与异常值检测。该方法通过排除无关的次要聚类和噪声，提升了聚类的鲁棒性，在MNIST和rs-fMRI数据集上均得到验证。

ABSTRACT

Variation Autoencoder (VAE) has become a powerful tool in modeling the non-linear generative process of data from a low-dimensional latent space. Recently, several studies have proposed to use VAE for unsupervised clustering by using mixture models to capture the multi-modal structure of latent representations. This strategy, however, is ineffective when there are outlier data samples whose latent representations are meaningless, yet contaminating the estimation of key major clusters in the latent space. This exact problem arises in the context of resting-state fMRI (rs-fMRI) analysis, where clustering major functional connectivity patterns is often hindered by heavy noise of rs-fMRI and many minor clusters (rare connectivity patterns) of no interest to analysis. In this paper we propose a novel generative process, in which we use a Gaussian-mixture to model a few major clusters in the data, and use a non-informative uniform distribution to capture the remaining data. We embed this truncated Gaussian-Mixture model in a Variational AutoEncoder framework to obtain a general joint clustering and outlier detection approach, called tGM-VAE. We demonstrated the applicability of tGM-VAE on the MNIST dataset and further validated it in the context of rs-fMRI connectivity analysis.

研究动机与目标

• 为解决基于VAE的聚类在功能连接分析中潜在表示受噪声和异常值污染的挑战。
• 通过区分主要功能连接模式与次要无关聚类及噪声，提升rs-fMRI中的聚类性能。
• 开发一种统一框架，利用截断混合模型联合执行聚类与异常值检测。
• 对潜在空间进行建模，使主要聚类由高斯混合模型捕获，而异常值和次要聚类则建模为均匀噪声。
• 在合成数据（MNIST）和真实世界神经影像数据（rs-fMRI）上验证该方法的鲁棒性与适用性。

提出的方法

• 所提出的方法在变分自编码器（VAE）框架中嵌入截断高斯混合（tGM）模型，以建模潜在空间。
• tGM模型由有限个高斯分布组成，用于主要聚类，同时使用均匀分布表示异常值和次要聚类。
• VAE通过近似推理学习潜在空间的后验分布，似然函数建模为高斯混合与均匀分量的混合。
• 通过变分推理端到端训练模型，优化一个边际似然的下界，同时考虑主要聚类与异常值。
• 通过在高斯混合模型下的后验概率较低时将样本分配给均匀分量，实现异常值检测。
• 该方法实现聚类结构的联合学习与非信息性样本的识别，且无需预先知道聚类数量。

实验结果

研究问题

• RQ1 在VAE框架中使用截断高斯混合模型能否有效分离rs-fMRI数据中的主要功能连接模式与噪声及次要聚类？
• RQ2 与使用完整高斯混合模型的标准VAE相比，引入异常值的均匀分量在聚类性能上是否有所提升？
• RQ3 tGM-VAE在MNIST和rs-fMRI数据集上相较于基线聚类与异常值检测方法的性能提升程度如何？
• RQ4 当真实聚类数量未知或次要聚类主导数据时，该模型是否仍保持鲁棒性？
• RQ5 在神经影像应用中，该模型能否识别出生物学上不合理的连接模式作为异常值？

主要发现

• tGM-VAE成功识别并隔离了rs-fMRI数据中的主要功能连接模式，同时将噪声和次要聚类建模为异常值。
• 该方法通过减少潜在空间中无关次要聚类和噪声样本的污染，提升了聚类准确率。
• 在MNIST数据集上，tGM-VAE实现了具有竞争力的聚类性能，同时以高精度检测出异常数字。
• 在rs-fMRI分析中，tGM-VAE能有效将已知功能网络与虚假或噪声连接模式分离。
• 与使用完整高斯混合模型的标准VAE相比，引入均匀分量显著提升了鲁棒性，尤其在高噪声条件下。
• 该模型在真实神经影像数据上表现出强大的泛化能力，可实现对生物学上有意义连接模式的可靠识别。