[论文解读] Sparse covariance estimation in heterogeneous samples

Abel Rodríguez, Alex Lenkoski+1 more|arXiv (Cornell University)|Jan 23, 2010

Bayesian Methods and Mixture Models参考文献 46被引用 6

一句话总结

本文提出了一种非参数贝叶斯框架，用于在异质样本中进行稀疏协方差估计，采用无限高斯图形模型（GGM）混合与无限隐马尔可夫模型（iHMM），并以GGM为发射分布。通过利用狄利克雷过程先验和波利娅瓮表示法，该方法可自动推断子群体数量及其条件独立结构，从而实现对高维数据中非线性和时变依赖关系的灵活、可解释建模。

ABSTRACT

Standard Gaussian graphical models (GGMs) implicitly assume that the conditional independence among variables is common to all observations in the sample. However, in practice, observations are usually collected form heterogeneous populations where such assumption is not satisfied, leading in turn to nonlinear relationships among variables. To tackle these problems we explore mixtures of GGMs; in particular, we consider both infinite mixture models of GGMs and infinite hidden Markov models with GGM emission distributions. Such models allow us to divide a heterogeneous population into homogenous groups, with each cluster having its own conditional independence structure. The main advantage of considering infinite mixtures is that they allow us easily to estimate the number of number of subpopulations in the sample. As an illustration, we study the trends in exchange rate fluctuations in the pre-Euro era. This example demonstrates that the models are very flexible while providing extremely interesting interesting insights into real-life applications.

研究动机与目标

• 解决标准高斯图形模型（GGM）的局限性，即假设所有观测值均具有同质的线性条件独立结构。
• 对条件独立结构在不同子群体或随时间变化的异质群体进行建模，捕捉非线性关系。
• 开发一种完全贝叶斯的非参数方法，自动估计聚类或隐状态数量，而无需预先指定。
• 为每个聚类或状态生成稀疏、可解释的图模型，适用于基因表达或金融时间序列等高维数据。
• 提供一种计算上可行的MCMC框架，通过边际化GGM参数并使用波利娅瓮采样器，避免直接估计均值和协方差。

提出的方法

• 使用无限GGM混合模型（GGM-DPM）并结合狄利克雷过程先验，以允许未知的、由数据驱动的聚类数量。
• 采用具有GGM发射分布的无限隐马尔可夫模型（iHMM），以建模时变的条件独立结构。
• 应用波利娅瓮表示法构建吉布斯采样器，逐个观测更新聚类分配，同时对GGM均值和精度进行积分。
• 使用辅助变量方案高效采样浓度参数α₀和α，通过伽马和β分布实现完整的条件更新。
• 在可能的情况下，利用解析形式计算每个聚类的边际似然和预测分布；对不可分解图则使用数值近似。
• 通过精度矩阵的稀疏性利用条件独立性，以在每个分量上强制实现稀疏图结构，从而增强可解释性与计算效率。

实验结果

研究问题

• RQ1 如何对条件独立结构在不同子群体间存在差异的异质多变量数据进行建模？
• RQ2 在非参数贝叶斯框架中，能否自动推断潜在子群体或隐状态的数量？
• RQ3 如何在保持每个聚类图模型稀疏性的同时，允许灵活的非线性关系？
• RQ4 何种计算策略可实现在未知分量数量的高维GGM混合模型中的高效后验推断？
• RQ5 无限GGM混合模型在多大程度上能够捕捉多变量时间序列（如汇率波动）中的时变依赖关系？

主要发现

• 所提出的GGM-DPM与iHMM框架成功识别出异质数据中的不同子群体，每个子群体均具有独立的稀疏条件独立结构。
• 通过非参数先验自动推断聚类或状态数量，避免了对模型选择标准的依赖。
• 使用波利娅瓮采样器并边际化GGM参数，通过消除对均值和协方差矩阵的直接采样，显著降低计算负担。
• 该模型成功捕捉了欧元推出前汇率数据中的时变依赖关系，揭示了经济板块间互动的动态变化。
• 通过数值近似边际似然和预测分布，该框架可推广至不可分解图。
• 该方法在中等维度p（变量数量）下具有可扩展性，未来可通过启发式搜索算法扩展至高维设置。