[论文解读] Performance Evaluation of Machine Learning Algorithms in Post-operative Life Expectancy in the Lung Cancer Patients

Kwetishe Joro Danjuma|arXiv (Cornell University)|Apr 17, 2015

Artificial Intelligence in Healthcare参考文献 53被引用 48

一句话总结

本研究评估了机器学习算法——多层感知机、J48 和朴素贝叶斯——在使用 UCI 胸外科数据集预测肺癌患者术后生存期方面的表现。采用分层 10 折交叉验证，多层感知机达到 82.3% 的最高准确率，优于 J48（81.8%）和朴素贝叶斯（74.4%），证明其在真实临床数据上的临床预后建模中具有有效性。

ABSTRACT

The nature of clinical data makes it difficult to quickly select, tune and apply machine learning algorithms to clinical prognosis. As a result, a lot of time is spent searching for the most appropriate machine learning algorithms applicable in clinical prognosis that contains either binary-valued or multi-valued attributes. The study set out to identify and evaluate the performance of machine learning classification schemes applied in clinical prognosis of post-operative life expectancy in the lung cancer patients. Multilayer Perceptron, J48, and the Naive Bayes algorithms were used to train and test models on Thoracic Surgery datasets obtained from the University of California Irvine machine learning repository. Stratified 10-fold cross-validation was used to evaluate baseline performance accuracy of the classifiers. The comparative analysis shows that multilayer perceptron performed best with classification accuracy of 82.3%, J48 came out second with classification accuracy of 81.8%, and Naive Bayes came out the worst with classification accuracy of 74.4%. The quality and outcome of the chosen machine learning algorithms depends on the ingenuity of the clinical miner.

研究动机与目标

• 识别并评估适用于肺癌患者术后生存期临床预后预测的机器学习分类算法。
• 比较多层感知机、J48 和朴素贝叶斯在真实临床数据集上的性能表现。
• 确定预测肺癌手术后生存结局最准确的机器学习模型。
• 为使用监督学习技术进行肿瘤学临床数据挖掘提供性能基准。

提出的方法

• 本研究使用来自 UCI 机器学习存储库的胸外科数据集，该数据集包含肺癌患者的临床属性。
• 对三种机器学习算法——多层感知机、J48 和朴素贝叶斯——在该数据集上进行了训练和测试。
• 采用分层 10 折交叉验证，以确保对模型性能进行稳健且无偏的评估。
• 以分类准确率为首要指标，用于比较各模型的性能表现。
• 该数据集包含二元和多值临床属性，反映了真实临床数据的复杂性。

实验结果

研究问题

• RQ1 哪种机器学习算法在预测肺癌患者术后生存期方面表现最佳？
• RQ2 多层感知机、J48 和朴素贝叶斯在临床预后任务中的分类准确率表现如何比较？
• RQ3 数据复杂性（二元和多值属性）在多大程度上影响临床预测中的模型性能？
• RQ4 机器学习模型能否在真实临床数据集上实现可靠的生存预测性能？

主要发现

• 多层感知机在预测术后生存期方面达到最高的分类准确率 82.3%。
• J48 表现优异，分类准确率为 81.8%。
• 朴素贝叶斯在三者中准确率最低，为 74.4%。
• 性能差异凸显了在临床数据挖掘中算法选择的重要性。
• 分层 10 折交叉验证为所有模型提供了稳定且可靠的性能估计。