[论文解读] Removing Confounding Factors Associated Weights in Deep Neural Networks Improves the Prediction Accuracy for Healthcare Applications

Haohan Wang, Zhenglin Wu+1 more|arXiv (Cornell University)|Mar 20, 2018

Machine Learning in Healthcare被引用 7

一句话总结

本文提出混淆因子过滤（Confounder Filtering, CF），一种仅需最小架构修改的方法，通过识别并移除与年龄、性别或对比剂等混淆因子相关的权重，提升深度神经网络在医疗领域的预测准确率。通过微调顶层以预测混淆因子并过滤其影响，CF 在 CT、MRA 和 EEG 数据集上均显著提升了模型在多样化队列中的泛化能力，且在各类任务中均保持一致的准确率提升。

ABSTRACT

The proliferation of healthcare data has brought the opportunities of applying data-driven approaches, such as machine learning methods, to assist diagnosis. Recently, many deep learning methods have been shown with impressive successes in predicting disease status with raw input data. However, the "black-box" nature of deep learning and the high-reliability requirement of biomedical applications have created new challenges regarding the existence of confounding factors. In this paper, with a brief argument that inappropriate handling of confounding factors will lead to models' sub-optimal performance in real-world applications, we present an efficient method that can remove the influences of confounding factors such as age or gender to improve the across-cohort prediction accuracy of neural networks. One distinct advantage of our method is that it only requires minimal changes of the baseline model's architecture so that it can be plugged into most of the existing neural networks. We conduct experiments across CT-scan, MRA, and EEG brain wave with convolutional neural networks and LSTM to verify the efficiency of our method.

研究动机与目标

• 解决深度学习模型在医疗预测中因年龄、性别或影像对比剂等混淆因子带来的挑战。
• 通过减少对混淆因子引入的虚假相关性的依赖，提升模型在多样化患者队列中的泛化能力。
• 开发一种即插即用的方法，仅需对现有神经网络架构进行最小程度修改。
• 在 CT、MRA 和 EEG 等多种医学影像与信号处理任务中，展示一致的性能提升。
• 通过实证验证，尽管实验室准确率较高，混淆因子仍会降低真实世界中的预测性能。

提出的方法

• 在包含混淆因子的原始数据上，使用标准深度神经网络（如 CNN、LSTM、U-Net）训练原始任务。
• 将最终分类层替换为可预测混淆因子（如性别、年龄、对比剂存在与否）而非疾病标签的新层。
• 分两个阶段微调模型：首先学习任务相关特征，然后学习混淆因子特异性表征。
• 通过基于梯度的分析，识别并移除顶层中与混淆因子关联最强的权重。
• 在推理阶段应用过滤机制，抑制这些与混淆因子相关权重的影响。
• 使用深度特征选择技术，可视化哪些输入像素或信号最能预测混淆因子，证实其分布细微且无明显模式。

实验结果

研究问题

• RQ1 移除与混淆因子相关的权重是否能提升深度神经网络在医疗应用中跨队列的泛化能力？
• RQ2 尽管样本内准确率较高，性别、年龄或对比剂等混淆因子在多大程度上会降低模型性能？
• RQ3 如何在对现有模型架构改动最小的前提下，隔离并移除混淆因子的影响？
• RQ4 在训练过程中，与混淆因子相关的权重是否可与真正疾病信号相关的权重区分开来？
• RQ5 该方法是否可泛化至 CT、MRA 和 EEG 等多种模态，而无需重新设计网络架构？

主要发现

• 混淆因子过滤（CF）在四个多样化医疗任务中均一致提升了预测准确率：肺腺癌、心室分割、学生困惑状态识别和脑肿瘤检测。
• 在肺腺癌实验中，CF-CNN 在跨队列评估中优于标准 CNN，尤其在测试集使用不同对比剂时表现更优。
• 该方法成功降低了对性别或年龄相关特征的依赖，即使这些特征在输入数据中无明显空间模式。
• 权重更新的可视化显示，任务相关与混淆因子相关权重的训练动态存在明显差异，验证了该方法的核心假设。
• 尽管 VGG19 的性能略有下降，CF 在所有其他测试的 CNN 架构中均提升了准确率，表明其在不同模型家族中的鲁棒性。
• 深度特征选择的使用揭示，与混淆因子相关的像素分布零散且不具备判别性，证实人工过滤无效——凸显了像 CF 这类自动化方法的必要性。