[论文解读] Using permutations to assess confounding in machine learning applications for digital health

Elias Chaibub Neto, Abhishek Pratap+5 more|arXiv (Cornell University)|Nov 29, 2018

Advanced Causal Inference Techniques参考文献 15被引用 5

一句话总结

本文提出基于排列的统计方法，用于检测和量化机器学习在数字健康领域中的混杂效应，通过限制性排列隔离混杂因素影响，同时保持目标人群的结构。该方法可估计无混杂的模型性能，并评估混杂调整方法的有效性，已在一项真实的帕金森病移动健康研究中得到验证，相较于标准零假设，其推断准确性有所提升。

ABSTRACT

Clinical machine learning applications are often plagued with confounders that can impact the generalizability and predictive performance of the learners. Confounding is especially problematic in remote digital health studies where the participants self-select to enter the study, thereby making it challenging to balance the demographic characteristics of participants. One effective approach to combat confounding is to match samples with respect to the confounding variables in order to balance the data. This procedure, however, leads to smaller datasets and hence impact the inferences drawn from the learners. Alternatively, confounding adjustment methods that make more efficient use of the data (e.g., inverse probability weighting) usually rely on modeling assumptions, and it is unclear how robust these methods are to violations of these assumptions. Here, rather than proposing a new approach to control for confounding, we develop novel permutation based statistical methods to detect and quantify the influence of observed confounders, and estimate the unconfounded performance of the learner. Our tools can be used to evaluate the effectiveness of existing confounding adjustment methods. We illustrate their application using real-life data from a Parkinson's disease mobile health study collected in an uncontrolled environment.

研究动机与目标

• 开发用于检测和量化机器学习在数字健康应用中观察到的混杂因素影响的统计工具。
• 通过考虑目标人群中混杂因素与结果的关联，估计学习器的无混杂预测性能。
• 利用稳健的数据驱动排列框架，评估现有混杂调整方法的有效性。
• 解决在远程、非受控的数字健康研究中因自我选择导致的人口学失衡所引发的泛化能力差的问题。
• 提供一种避免传统调整技术（如逆概率加权）固有建模假设的方法。

提出的方法

• 使用受限的蒙特卡洛排列方法，在分类或有序混杂因素的各个水平内随机置换响应变量，以保留因混杂导致的间接关联，同时破坏特征与响应之间的直接联系。
• 通过在训练集和测试集中反复在混杂因素水平内置换响应变量，构建受限排列零分布，然后重新评估模型性能。
• 通过将观测指标相对于受限排列零分布进行标准化，估计无混杂性能，使用z分数校正：$ (AUC_o - a_{\tilde{\tau}^*}) \frac{s}{s_{\tilde{\tau}^*}} + a $。
• 通过标准正态近似计算p值以检验混杂效应：$ 1 - \Phi\left(\frac{a_{\tilde{\tau}^*} - a}{s / \sqrt{n}}\right) $，其中 $ a $ 和 $ s $ 分别为基线零分布的均值和标准差。
• 将基线零分布（源自目标人群）作为参考，以校正基线混杂结构，从而实现更准确的性能估计。
• 将该方法应用于帕金森病研究的真实移动健康数据，以评估混杂效应并验证调整策略。

实验结果

研究问题

• RQ1 像性别或年龄这样的混杂因素在多大程度上扭曲了数字健康研究中机器学习模型的预测性能？
• RQ2 当开发数据中因混杂存在虚假关联时，如何估计模型的真实（无混杂）性能？
• RQ3 当使用反映目标人群结构的基于排列的基准进行评估时，标准混杂调整技术的有效性如何？
• RQ4 在不同混杂信号强度下，所提出的混杂检测检验的统计功效如何？
• RQ5 在无混杂的零假设下检验混杂效应时，第一类错误率的控制效果如何？

主要发现

• 所提出的方法通过将观测模型性能与反映目标人群混杂因素-结果结构的受限排列零分布进行比较，成功检测并量化了混杂效应。
• 与基于标准排列零分布的估计相比，估计的无混杂AUC显著更准确，如图S6e中绿色线（基线零分布）优于橙色线（标准零分布）所示。
• 随着混杂信号强度的增加，检测混杂的统计功效也相应提高，表明该方法在现实模拟场景中具有良好的敏感性。
• 在无混杂的零假设下，p值在[0,1]区间内均匀分布，证实了模拟中第一类错误率得到有效控制。
• 该方法通过提供一个考虑目标人群中真实混杂因素-结果关联的基准，有效评估了混杂调整技术。
• 在真实的帕金森病研究中，该方法揭示性别是一个显著的混杂因素，且无混杂性能估计成功校正了开发数据中存在的虚假关联。