[论文解读] Robust Propensity Score Computation Method based on Machine Learning with Label-corrupted Data

Chen Wang, Suzhen Wang+2 more|arXiv (Cornell University)|Jan 9, 2018

Statistical Methods and Inference参考文献 14被引用 4

一句话总结

本文提出了一种在标签受损的医疗数据背景下计算倾向得分的鲁棒机器学习方法。通过使用谱聚类识别数据的自然分组，并利用‘适度Softmax’插值方法重新加权样本，该方法生成了一个更干净的训练子集，从而提升了基于XGBoost的倾向得分估计效果，尤其在高标签损坏情况下表现更优——即使标签损坏率达40%，其偏差减少效果也优于原始数据。

ABSTRACT

In biostatistics, propensity score is a common approach to analyze the imbalance of covariate and process confounding covariates to eliminate differences between groups. While there are an abundant amount of methods to compute propensity score, a common issue of them is the corrupted labels in the dataset. For example, the data collected from the patients could contain samples that are treated mistakenly, and the computing methods could incorporate them as a misleading information. In this paper, we propose a Machine Learning-based method to handle the problem. Specifically, we utilize the fact that the majority of sample should be labeled with the correct instance and design an approach to first cluster the data with spectral clustering and then sample a new dataset with a distribution processed from the clustering results. The propensity score is computed by Xgboost, and a mathematical justification of our method is provided in this paper. The experimental results illustrate that xgboost propensity scores computing with the data processed by our method could outperform the same method with original data, and the advantages of our method increases as we add some artificial corruptions to the dataset. Meanwhile, the implementation of xgboost to compute propensity score for multiple treatments is also a pioneering work in the area.

研究动机与目标

• 为生物统计学数据中倾向得分分析所面临的常见但研究不足的标签损坏问题提供解决方案。
• 开发一种数据清洗方法，利用‘大多数样本标签正确’的假设，识别并降低错误标签样本的权重。
• 在存在标签损坏的情况下，提升基于XGBoost的倾向得分估计的鲁棒性与准确性。
• 提供一种数学上合理且可推广的方法，适用于生物统计学之外的其他存在噪声标签的机器学习任务。

提出的方法

• 应用谱聚类根据数据流形结构对样本进行分组，假设正确标签样本会形成明显且紧密的聚类。
• 通过估计每个聚类中来自各处理组的样本比例，计算聚类级别的权重。
• 使用基于插值的归一化方法，将原始聚类权重转换为‘适度Softmax’分布，以降低对异常值和噪声的敏感性。
• 根据归一化权重从聚类中采样，构建重加权的训练数据集，优先选择更一致且更可能正确的聚类。
• 在重加权数据集上训练XGBoost分类器，以生成适合逆概率加权的概率输出倾向得分。
• 使用t-SNE可视化验证聚类与有意义的处理组流形相对应，支持该方法的几何直觉。

实验结果

研究问题

• RQ1 基于聚类的数据重加权策略是否能有效降低倾向得分估计中的标签损坏影响？
• RQ2 与在原始损坏数据上训练的标准XGBoost相比，所提方法在标准化偏差减少方面表现如何？
• RQ3 随着人工标签损坏率的提高，所提方法的性能优势是否会增强？
• RQ4 '适度Softmax'重加权机制在数学上是否合理且能有效提升模型泛化能力？
• RQ5 当与该数据清洗流程结合时，XGBoost能否在多处理倾向得分估计中实现有效且鲁棒的应用？

主要发现

• 在经所提方法处理后的数据上训练的XGBoost模型，其标准化偏差显著低于在原始损坏数据上训练的相同模型，尤其在高损坏率下表现更优。
• 在40%人工损坏标签的情况下，所提方法在所有协变量上的平均标准化偏差比在原始数据上训练减少了58%。
• 该方法在偏差减少方面的优势随损坏率升高而增强，表明其在极端标签噪声下仍具鲁棒性。
• 处理后数据的最终训练和测试mlogloss分别为0.244和0.553，高于原始数据的0.222和0.500，但这一权衡因更优的偏差减少和更优的随机化效果而合理。
• t-SNE可视化证实聚类与不同的处理组相对应，验证了该方法分离有意义数据流形的能力。
• 本研究首次展示了XGBoost在多处理倾向得分估计中的应用，为生物统计学中可扩展且准确的因果推断开辟了新途径。