[论文解读] PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes

Silvia Liverani, David I. Hastie+3 more|arXiv (Cornell University)|Mar 12, 2013

Bayesian Methods and Mixture Models参考文献 22被引用 9

一句话总结

本论文介绍了 PReMiuM，这是一个使用狄利克雷过程先验的贝叶斯轮廓回归混合模型的 R 包，支持通过潜在群体将响应变量与协变量关联的非参数聚类。该包支持多种数据类型，可处理缺失协变量，支持变量选择，并提供收敛诊断、预测和后处理的工具，在模拟中表现出稳定性和准确性。

ABSTRACT

PReMiuM is a recently developed R package for Bayesian clustering using a Dirichlet process mixture model. This model is an alternative to regression models, non-parametrically linking a response vector to covariate data through cluster membership. The package allows Bernoulli, Binomial, Poisson, Normal and categorical response, as well as Normal and discrete covariates. Additionally, predictions may be made for the response, and missing values for the covariates are handled. Several samplers and label switching moves are implemented along with diagnostic tools to assess convergence. A number of R functions for post-processing of the output are also provided. In addition to fitting mixtures, it may additionally be of interest to determine which covariates actively drive the mixture components. This is implemented in the package as variable selection.

研究动机与目标

• 开发一个灵活的贝叶斯框架，用于对多变量数据进行聚类，其中响应变量通过潜在群体成员关系与协变量关联。
• 通过允许协变量与响应之间基于聚类的非参数关系，扩展传统回归模型。
• 实现一个稳健、可扩展的 R 包，支持二值、分类、计数和连续响应与协变量，包括缺失数据处理。
• 提供变量选择工具，以识别驱动聚类形成的协变量。
• 通过 MCMC 采样器、标签切换移动和收敛诊断确保可靠推断。

提出的方法

• 使用具有棒破除构造的狄利克雷过程混合模型（DPMM），非参数地确定聚类数量。
• 采用基于切片采样的 MCMC 算法，联合更新聚类分配和分量参数，避免截断近似。
• 通过条件共轭指数族先验，支持二值、分类、计数和连续结果的响应模型。
• 整合具有连续和离散类型的协变量，支持对混合预测变量类型的灵活建模。
• 通过后验聚类成员概率实现 Rao-Blackwellised 预测，以提高预测准确性。
• 包含诊断函数，如相异度矩阵计算和最优聚类估计，以评估收敛性和稳定性。

实验结果

研究问题

• RQ1 使用狄利克雷过程混合的非参数贝叶斯模型能否在不假设固定组数的情况下，有效识别将协变量与响应关联的潜在聚类？
• RQ2 PReMiuM 包在处理混合数据类型（包括二值、分类、计数和连续响应与协变量）方面表现如何？
• RQ3 模型中包含变量选择在多大程度上有助于识别驱动聚类结构的最重要协变量？
• RQ4 MCMC 采样器和收敛诊断在真实世界和模拟场景中的稳定性和可靠性如何？
• RQ5 当协变量包含缺失值时，该包能否对新数据产生准确的预测？

主要发现

• PReMiuM 包成功实现了使用狄利克雷过程先验的完整贝叶斯轮廓回归模型，支持自动选择组数的非参数聚类。
• 模拟结果显示极佳的稳定性，独立的 MCMC 链在经过 20,000 次烧尽和 10,000 次采样迭代后产生几乎相同的结果。
• 该包通过在后验中积分出缺失协变量值，有效将其视为总体平均水平，从而准确处理缺失协变量。
• 基于聚类成员后验概率的预测分布（Rao-Blackwellised 估计）与模拟数据高度吻合，证实了模型的有效性。
• 热图和相异度矩阵函数能有效可视化聚类结构，高两两成员概率的观测值被归为一组。
• 变量选择功能成功识别出在模拟数据中驱动聚类形成的最关键协变量。