[论文解读] Quantifying the Contributions of Training Data and Algorithm Logic to the Performance of Automated Cause-assignment Algorithms for Verbal Autopsy

Samuel J. Clark, Zehang Li+1 more|arXiv (Cornell University)|Mar 6, 2018

Autopsy Techniques and Outcomes参考文献 7被引用 13

一句话总结

本研究利用PHMRC数据集，量化了训练数据与算法逻辑对口头尸检（VA）死亡原因分配性能的相对影响。研究发现，症状-病因信息（SCI）——源自训练数据——解释了比算法选择更多的性能差异，且SCI的重要性至少与算法设计相当，甚至在多数情况下更为关键。

ABSTRACT

A verbal autopsy (VA) consists of a survey with a relative or close contact of a person who has recently died. VA surveys are commonly used to infer likely causes of death for individuals when deaths happen outside of hospitals or healthcare facilities. Several statistical and algorithmic methods are available to assign cause of death using VA surveys. Each of these methods require as inputs some information about the joint distribution of symptoms and causes. In this note, we examine the generalizability of this symptom-cause information by comparing different automated coding methods using various combinations of inputs and evaluation data. VA algorithm performance is affected by both the specific SCI themselves and the logic of a given algorithm. Using a variety of performance metrics for all existing VA algorithms, we demonstrate that in general the adequacy of the information about the joint distribution between symptoms and cause affects performance at least as much or more than algorithm logic.

研究动机与目标

• 调查训练数据（症状-病因信息）与算法逻辑对自动化口头尸检（VA）算法性能的相对贡献。
• 通过分离SCI与算法设计的影响，解决VA中公平算法比较的挑战。
• 评估算法性能是否对训练数据来源或算法方法选择更为敏感。
• 为在VA系统中优先采用高质量、人群特异性的SCI提供实证依据。

提出的方法

• 使用包含六个不同人群共7,841例标注VA死亡案例的PHMRC数据集，训练并测试六种VA算法。
• 通过不同站点的数据进行训练-测试划分，以评估泛化能力与SCI可迁移性。
• 执行两种类型的训练-测试划分：(1) 跨站点的标准划分，以及(2) 通过匹配CSMF分布的重采样测试集，以减少站点特异性偏差。
• 每种划分重复50次重采样，以稳定性能指标并降低方差。
• 应用方差分析（ANOVA）与Friedman检验，分解训练站点、算法与重采样条件下的性能差异。
• 使用线性混合模型量化训练站点、算法及其交互作用对性能差异的贡献比例。

实验结果

研究问题

• RQ1 VA算法性能差异中有多少可归因于训练数据（症状-病因信息）的选择，而非算法选择？
• RQ2 当在某一人群上训练并在另一人群上测试时，VA算法性能是否显著下降，这种下降程度与算法差异相比如何？
• RQ3 在测试数据中重采样死亡原因分布在多大程度上影响SCI与算法逻辑的相对重要性？
• RQ4 包含或排除同站点训练与测试对对性能方差分解的影响如何？
• RQ5 在自动化VA病因分配中，哪个因素——训练数据还是算法逻辑——是性能的主要驱动因素？

主要发现

• 训练数据选择（症状-病因信息）解释的性能差异显著多于算法逻辑，多数实验的p值均小于0.0001。
• 在实验1（无重采样，包含同站点划分）中，训练站点解释了CSMF与CCC指标100%的方差，表明SCI是性能的主要驱动因素。
• 即使在排除同站点训练/测试对后（实验4），SCI仍解释了CCC总方差的2.15%，而算法仅解释0.00%，表明SCI仍占主导地位。
• 在测试数据中重采样死亡原因分布对SCI相对重要性的影响微乎其微，表明性能差异并非由罕见病因或不平衡的CSMF引起。
• 所有算法在同人群上进行训练与测试时表现均显著更优，凸显了人群特异性SCI的重要性。
• 本研究结论认为，SCI的重要性至少与算法设计相当，且在多数情况下更为关键，是实现高性能VA的关键因素。