[论文解读] Neuropathic Pain Diagnosis Simulator for Causal Discovery Algorithm Evaluation

Ruibo Tu, Kun Zhang+3 more|arXiv (Cornell University)|Jun 4, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 9

一句话总结

该论文提出了一种灵活、保护隐私的神经病理性疼痛诊断模拟器，可生成具有已知真实因果结构的合成临床数据。该模拟器基于真实患者数据估计参数，并建立在已被充分理解的神经病理性疼痛病理生理学基础之上，能够在缺失数据、选择偏倚和未测量混杂因素等现实条件下，系统评估因果发现算法，其生成数据与真实世界数据高度一致。

ABSTRACT

Discovery of causal relations from observational data is essential for many disciplines of science and real-world applications. However, unlike other machine learning algorithms, whose development has been greatly fostered by a large amount of available benchmark datasets, causal discovery algorithms are notoriously difficult to be systematically evaluated because few datasets with known ground-truth causal relations are available. In this work, we handle the problem of evaluating causal discovery algorithms by building a flexible simulator in the medical setting. We develop a neuropathic pain diagnosis simulator, inspired by the fact that the biological processes of neuropathic pathophysiology are well studied with well-understood causal influences. Our simulator exploits the causal graph of the neuropathic pain pathology and its parameters in the generator are estimated from real-life patient cases. We show that the data generated from our simulator have similar statistics as real-world data. As a clear advantage, the simulator can produce infinite samples without jeopardizing the privacy of real-world patients. Our simulator provides a natural tool for evaluating various types of causal discovery algorithms, including those to deal with practical issues in causal discovery, such as unknown confounders, selection bias, and missing data. Using our simulator, we have evaluated extensively causal discovery algorithms under various settings.

研究动机与目标

• 为评估因果发现算法，解决缺乏具有已知真实因果关系基准数据集的问题。
• 创建一个真实、可扩展且保护隐私的模拟器，用于在复杂医疗环境中评估因果发现算法。
• 在未测量混杂因素、选择偏倚和缺失数据等实际挑战下，实现对因果发现算法的系统性评估。
• 通过基于生物医学知识的领域特定模拟器，弥合机器学习与临床神经科学之间的鸿沟。

提出的方法

• 模拟器基于包含222个变量和770条有向边的神经病理性疼痛病理生理学因果图构建，其来源为公认的医学知识。
• 因果模型的参数通过小规模匿名真实临床记录数据集估计，以确保临床合理性。
• 使用结构方程模型生成合成数据，以反映真实数据的因果结构和参数估计结果。
• 模拟器支持可配置的数据问题，如缺失数据、选择偏倚和未测量混杂因素，以模拟现实世界中的数据挑战。
• 通过统计分析和医生专家评估验证数据保真度，确保与真实临床记录的相似性。
• 模拟器支持在多种实验设置下评估多种因果发现算法，包括PC、FCI和GES。

实验结果

研究问题

• RQ1 基于已被充分理解的生物因果结构的模拟器，能否生成在统计上与真实世界患者数据无法区分的合成临床数据？
• RQ2 该模拟器在未测量混杂因素和缺失数据等实际挑战下，评估因果发现算法的效率如何？
• RQ3 该模拟器在多大程度上保留了真实神经病理性疼痛诊断记录的统计和临床特征？
• RQ4 该模拟器能否作为比较不同因果发现算法在真实医疗环境中的可靠基准？
• RQ5 在合成数据中引入特定领域的因果知识，如何提升其有效性和在算法评估中的实用性？

主要发现

• 经统计检验和医生专家评估验证，该模拟器生成的合成数据在统计上与真实临床记录无法区分。
• 该模拟器成功再现了包含222个变量和770条有向边的复杂高维因果结构，准确反映了真实的神经病理性疼痛诊断路径。
• 该模拟器可在不损害患者隐私或数据安全的前提下，生成无限多的合成数据样本。
• 使用该模拟器成功评估了PC、FCI和GES等因果发现算法，证明其在基准测试中的实用性。
• 该模拟器有效模拟了缺失数据、选择偏倚和未测量混杂因素等实际挑战，支持对算法的稳健评估。
• 基于生物医学知识推导的真实因果结构，使得因果发现方法能够实现系统化和可重复的评估。