[论文解读] varrank: an R package for variable ranking based on mutual information with applications to observed systemic datasets

Gilles Kratzer, Reinhard Furrer|arXiv (Cornell University)|Apr 19, 2018

Bayesian Modeling and Causal Inference参考文献 19被引用 9

一句话总结

该论文介绍了 varrank，一个用于基于互信息方法的无模型变量排序的 R 包，特别是 mRMRe 框架。它通过选择与目标集合相关性最高且冗余度最低的变量，实现整体性、多变量分析，为流行病学及其他领域的高维系统数据集提供灵活、可解释且计算高效的解决方案。

ABSTRACT

This article describes the R package varrank. It has a flexible implementation of heuristic approaches which perform variable ranking based on mutual information. The package is particularly suitable for exploring multivariate datasets requiring a holistic analysis. The core functionality is a general implementation of the minimum redundancy maximum relevance (mRMRe) model. This approach is based on information theory metrics. It is compatible with discrete and continuous data which are discretised using a large choice of possible rules. The two main problems that can be addressed by this package are the selection of the most representative variables for modeling a collection of variables of interest, i.e., dimension reduction, and variable ranking with respect to a set of variables of interest.

研究动机与目标

• 解决系统流行病学及相关领域中常见的高维多变量数据集中的变量选择挑战。
• 提供一种灵活的无模型替代方法，替代依赖于任意阈值的传统逐步或基于拟合优度的变量选择方法。
• 通过同时支持多个感兴趣的变量，实现整体性分析，突破单一结果框架的限制。
• 通过信息论度量（如互信息）和冗余惩罚，提升变量排序的可解释性和计算效率。
• 通过提供可视化和可配置工具，实现专家知识与数据驱动选择的整合，以实现稳健的变量排序。

提出的方法

• 采用最小冗余最大相关性（mRMRe）模型，基于一个平衡目标集合相关性与已选变量冗余度的评分来选择变量。
• 使用互信息（MI）作为衡量变量之间相关性和冗余度的核心度量，经离散化后可兼容离散和连续数据。
• 实现了四种不同的归一化策略（battiti、kwak、peng、esteves）用于冗余惩罚项，每种策略对应 mRMRe 算法的一个已知变体。
• 支持通过多种用户定义规则进行数据离散化，以在信息论计算中稳健处理连续变量。
• 采用自助抽样程序（80% 抽样）评估不同样本规模下的排序稳定性，结果通过平行坐标图可视化。
• 提供专用绘图函数，可视化变量排序及其稳定性，有助于探索性数据分析和模型解释。

实验结果

研究问题

• RQ1 当存在多个感兴趣的变量时，如何以无模型、整体性的方式进行变量排序，而非依赖于单一结果预测？
• RQ2 mRMRe 方法在高维数据集中，对不同样本规模的变量选择稳定性和一致性有多大提升？
• RQ3 在 mRMRe 框架中，不同归一化策略（如 battiti、kwak、peng、esteves）在变量排序性能和鲁棒性方面有何差异？
• RQ4 基于互信息的排序方法是否在稳定性与相关性方面优于传统方法（如逐步选择或 AIC/BIC）？
• RQ5 varrank 包如何增强系统流行病学中专家知识与数据驱动变量选择的整合？

主要发现

• 在皮马印第安人糖尿病数据集中，varrank 包表现出强一致性，使用 80% 自助抽样时，前几名变量的检索率约为 25%。
• 在高度共线性的 Longley 数据集中，不同方法的变量排序一致性较低，特别是 'Armed.Forces' 变量，表明对多重共线性敏感。
• 自助分析表明，变量排序（尤其是 'glucose'）在不同样本规模下保持稳定，表明其相关性与数据子采样无关。
• 变量 'pressure' 在 95% 和 90% 的自助样本中均稳定排名第六，表明其相关性中等但不一致，相较于 'mass'、'pedigree'、'age' 和 'insulin' 变量。
• 图 3 中的平行坐标图证实，随着样本规模增加，整体排序模式保持稳定，部分变量的排名不确定性较低。
• varrank 在小到中等规模数据集上表现出具有竞争力的计算性能，支持其在实际、现实应用场景中的使用。