[论文解读] The Merging Path Plot: adaptive fusing of k-groups with likelihood-based model selection

Agnieszka Sitko, Przemysław Biecek|arXiv (Cornell University)|Sep 13, 2017

Data Analysis with R被引用 5

一句话总结

该论文提出了合并路径图（Merging Path Plot），一种新颖的可视化与模型选择方法，基于似然比检验（LRT）和广义信息准则（GIC），用于识别基于统计证据的一致性、非重叠k组聚类。该方法通过层次化方式自适应地融合组别，克服了传统事后检验在高维组别比较中的局限性，并已实现于R包 factorMerger 中，适用于高斯分布、二项分布及生存模型，提升了结果的可解释性与统计一致性。

ABSTRACT

There are many statistical tests that verify the null hypothesis: the variable of interest has the same distribution among k-groups. But once the null hypothesis is rejected, how to present the structure of dissimilarity between groups? In this article, we introduce The Merging Path Plot - a methodology, and factorMerger - an R package, for exploration and visualization of k-group dissimilarities. Comparison of k-groups is one of the most important issues in exploratory analyses and it has zillions of applications. The classical solution is to test a~null hypothesis that observations from all groups come from the same distribution. If the global null hypothesis is rejected, a~more detailed analysis of differences among pairs of groups is performed. The traditional approach is to use pairwise post hoc tests in order to verify which groups differ significantly. However, this approach fails with a large number of groups in both interpretation and visualization layer. The~Merging Path Plot methodology solves this problem by using an easy-to-understand description of dissimilarity among groups based on Likelihood Ratio Test (LRT) statistic.

研究动机与目标

• 解决在比较大量组别（k > 10）时事后检验的可解释性与可视化挑战。
• 基于统计证据而非成对比较，提供一致且非重叠的层次化组别合并方法。
• 开发一种将模型选择（通过GIC）与可视化相结合的方法，以指导最优组别融合。
• 将传统事后检验从高斯分布假设扩展至广义线性模型与生存模型。
• 为应用研究人员创建一个易于使用的交互式R包（factorMerger），以探索多种数据类型中的组别差异。

提出的方法

• 使用似然比检验（LRT）评估合并两个组是否导致模型拟合度的统计不显著下降。
• 采用迭代的、凝聚式的合并过程：在每一步中，选择LRT p值最高（即差异最不显著）的一对组别进行合并。
• 构建类似树状图的结构（即合并路径图），其中节点位置反映合并后模型的似然度。
• 引入广义信息准则（GIC）以评估模型拟合度，并选择最优的合并组数。
• 通过灵活的似然建模支持多种指数族分布（高斯分布、二项分布、生存分布）。
• 在R包 factorMerger 中实现该方法，支持自定义可视化，包括颜色编码的聚类、风险评分与生存曲线叠加。

实验结果

研究问题

• RQ1 如何在避免成对比较组合爆炸的前提下，可视化k > 10个组别的组间差异？
• RQ2 基于似然比检验的层次化合并过程能否产生一致且可解释的组别聚类，从而避免传统事后检验的不一致性？
• RQ3 GIC准则在多种统计模型中对最优合并组数的选择具有多大程度的可靠性？
• RQ4 该方法能否在真实世界数据中推广至二值结果与生存结局，而不仅限于高斯模型？
• RQ5 与标准事后检验图相比，合并路径图在探索性数据分析中如何提升可解释性与决策支持？

主要发现

• 合并路径图通过将65个国家的2080次成对比较（k=65）简化为单一、可解释的层次化合并路径，显著降低了k组比较的复杂性。
• 该方法解决了传统事后检验中的不一致性问题（如A ≠ B，B ≠ C，但A = C），通过确保合并决策具有传递性并基于模型拟合度。
• 在PISA 2012数据集中，合并路径图成功将11个欧洲国家划分为具有清晰视觉分离与统计依据的性能聚类。
• 在癌症基因组图谱（TCGA）的生存数据中，该方法基于患者生存情况识别出有意义的药物治疗分组，最终图示显示合并后药物类别间具有明确的风险特征差异。
• GIC准则在模拟与真实数据中均可靠地选出了最优组数，且通过自定义惩罚项（如 penalty = 500）在大样本中进一步提升了模型选择性能。
• factorMerger R包支持端到端分析，提供可自定义的可视化功能，包括基于风险评分的节点间距、聚类着色与生存曲线叠加。