[论文解读] Removing the influence of a group variable in high-dimensional predictive modelling

Emanuele Aliverti, Kristian Lum+2 more|arXiv (Cornell University)|Oct 18, 2018

Functional Brain Connectivity Studies参考文献 41被引用 5

一句话总结

本文提出了一种受约束的矩阵分解方法——正交组（Orthogonal Group, OG）回归，用于从高维数据 X 中消除干扰组变量 Z 的影响，确保在调整后的数据上训练的预测模型与 Z 统计独立。通过将 X 投影到奇异向量上，并利用最小二乘法去除与 Z 的线性关联，该方法在最小化信息损失的同时保证统计独立性，其在神经科学和刑事司法领域的应用展示了稳健性和泛化能力。

ABSTRACT

In many application areas, predictive models are used to support or make important decisions. There is increasing awareness that these models may contain spurious or otherwise undesirable correlations. Such correlations may arise from a variety of sources, including batch effects, systematic measurement errors, or sampling bias. Without explicit adjustment, machine learning algorithms trained using these data can produce poor out-of-sample predictions which propagate these undesirable correlations. We propose a method to pre-process the training data, producing an adjusted dataset that is statistically independent of the nuisance variables with minimum information loss. We develop a conceptually simple approach for creating an adjusted dataset in high-dimensional settings based on a constrained form of matrix decomposition. The resulting dataset can then be used in any predictive algorithm with the guarantee that predictions will be statistically independent of the group variable. We develop a scalable algorithm for implementing the method, along with theory support in the form of independence guarantees and optimality. The method is illustrated on some simulation examples and applied to two case studies: removing machine-specific correlations from brain scan data, and removing race and ethnicity information from a dataset used to predict recidivism. That the motivation for removing undesirable correlations is quite different in the two applications illustrates the broad applicability of our approach.

研究动机与目标

• 解决高维预测建模中结果变量 Y 与干扰组变量 Z 之间虚假相关性的问题。
• 开发一种预处理技术，调整训练数据以消除 Z 与 Y 之间的关联，同时保留科学上有意义的信号。
• 确保在调整后的数据上训练的任何预测模型均与 Z 统计独立，从而提升泛化能力和公平性。
• 为调整后数据的信息损失提供独立性和最优性的理论保证。
• 在医学影像和刑事司法等众多领域展示广泛适用性，其中组级别偏差可能扭曲模型预测。

提出的方法

• 该方法使用一种受约束的奇异值分解（SVD）形式，将数据矩阵 X 分解为与组变量 Z 正交的低秩分量。
• 对于每个主成分 j，该方法将得分 s_j 计算为：在通过最小二乘法估计 λ_j 以去除 Z 的线性效应后，X u_j^T 的残差。
• 最优基向量 u_j 通过 X 的右奇异向量推导得出，从而在正交性约束下实现最小重构误差。
• 通过确保 X 投影到每个 u_j 上的结果与 Z 不相关，来强制实现调整后数据与 Z 之间的统计独立性。
• 引入一种稀疏变体（sog），采用软阈值化（Lasso 类型）正则化，以在加载向量 u_j 中促进稀疏性，提升可解释性并减少过拟合。
• 该算法以迭代方式实现，循环更新得分向量 s_j 和加载向量 u_j，直至收敛，并在每一步进行正交化处理以保持独立性。

实验结果

研究问题

• RQ1 我们能否对高维数据进行预处理，以在最小化结果相关信号信息损失的前提下消除组变量 Z 的影响？
• RQ2 在预测建模背景下，如何数学上保证调整后数据与 Z 统计独立？
• RQ3 去除与 Z 关联的最优低秩近似 X 是什么？与现有批次校正方法相比，其在预测性能和独立性方面表现如何？
• RQ4 该方法能否扩展到稀疏表示形式，以在不牺牲独立性或重构精度的前提下提升可解释性？
• RQ5 在现实应用中，当组级别偏差（如再犯预测中的种族或神经影像中的机器类型）扭曲模型结果时，该方法表现如何？

主要发现

• OG 方法通过构造实现了调整后数据与组变量 Z 的统计独立性，理论保证基于正交分解和最小二乘约束。
• 该方法通过在 Z 正交性约束下保留 X 的最佳低秩近似，最小化了信息损失，其证明基于 Frobenius 范数分解。
• 在脑成像案例研究中，该方法成功去除了 fMRI 数据中的机器特异性伪影，提升了跨扫描仪的模型泛化能力。
• 在再犯预测案例中，调整后的模型不再依赖种族或民族作为代理变量，减少了不公平差异，同时保持了预测准确性。
• 稀疏 OG 变体（sog）通过在加载向量中促进稀疏性，提升了可解释性，能够选择相关特征，同时保持与 Z 的独立性。
• 实证结果表明，OG 方法在保留信号的同时去除虚假组级关联方面，优于标准 SVD 和批次校正方法。