[论文解读] The Power Of Simplicity: Why Simple Linear Models Outperform Complex Machine Learning Techniques -- Case Of Breast Cancer Diagnosis

Muhammad Arshad, Sakib Shahriar+1 more|arXiv (Cornell University)|Jun 4, 2023

Artificial Intelligence in HealthcareHealth Professions被引用 3

一句话总结

本研究表明，简单的线性模型，尤其是逻辑回归（LR），在使用威斯康星州乳腺癌数据集进行乳腺癌诊断时，优于决策树（DT）和支撑向量机（SVM）等复杂机器学习技术。LR在测试中达到97.28%的准确率，具有高度可解释性和计算效率（35.56毫秒），优于DT（93.73%）和SVM（96.44%），凸显了在医疗人工智能应用中简洁性的优势。

ABSTRACT

This research paper investigates the effectiveness of simple linear models versus complex machine learning techniques in breast cancer diagnosis, emphasizing the importance of interpretability and computational efficiency in the medical domain. We focus on Logistic Regression (LR), Decision Trees (DT), and Support Vector Machines (SVM) and optimize their performance using the UCI Machine Learning Repository dataset. Our findings demonstrate that the simpler linear model, LR, outperforms the more complex DT and SVM techniques, with a test score mean of 97.28%, a standard deviation of 1.62%, and a computation time of 35.56 ms. In comparison, DT achieved a test score mean of 93.73%, and SVM had a test score mean of 96.44%. The superior performance of LR can be attributed to its simplicity and interpretability, which provide a clear understanding of the relationship between input features and the outcome. This is particularly valuable in the medical domain, where interpretability is crucial for decision-making. Moreover, the computational efficiency of LR offers advantages in terms of scalability and real-world applicability. The results of this study highlight the power of simplicity in the context of breast cancer diagnosis and suggest that simpler linear models like LR can be more effective, interpretable, and computationally efficient than their complex counterparts, making them a more suitable choice for medical applications.

研究动机与目标

• 评估简单线性模型与复杂机器学习技术在乳腺癌诊断中的性能表现。
• 评估在医疗人工智能应用中，模型准确率、可解释性与计算效率之间的权衡。
• 确定像逻辑回归这样的简单模型是否能在临床诊断任务中超越决策树和SVM等更复杂模型。
• 强调在实际医疗决策系统中，可解释性与效率的重要性。
• 倡导在模型可信度与可扩展性至关重要的医疗环境中，采用更简单、更透明的模型。

提出的方法

• 使用包含569个样本和32个属性的UCI威斯康星州乳腺癌（诊断）数据集，包括诊断结果（恶性/良性）以及从细针穿刺图像中提取的9个实值特征。
• 通过标准机器学习流程训练并评估三种模型：逻辑回归（LR）、决策树（DT）和支持向量机（SVM）。
• 通过超参数调优优化模型性能，并使用5折交叉验证以确保评估指标的稳健性。
• 通过测试准确率（均值与标准差）、计算时间以及泛化能力（训练集与测试集得分差距）来衡量性能。
• 通过分析LR中的特征系数和DT中的决策规则来评估可解释性，同时通过核函数评估SVM在非线性边界上的性能。
• 通过推理时间（LR为35.56毫秒）比较模型效率，并通过训练与测试得分的差异评估过拟合风险。

Figure 1: Parallel coordinate plot of the Breast Cancer Wisconsin (Diagnostic) Data Set.

实验结果

研究问题

• RQ1 像逻辑回归这样的简单线性模型是否在乳腺癌诊断中优于决策树和SVM等更复杂模型？
• RQ2 在医疗应用中，简单线性模型与复杂机器学习技术在可解释性与计算效率方面有何比较？
• RQ3 与简单模型相比，SVM和DT等复杂模型在多大程度上存在过拟合或推理时间增加的问题？
• RQ4 更简单的模型是否能在保持高准确率的同时，提供更高的透明度，并更容易集成到临床工作流程中？
• RQ5 在真实世界的医疗诊断系统中，模型复杂度、性能与实用性之间的权衡是什么？

主要发现

• 逻辑回归（LR）在测试中达到最高的准确率97.28%（标准差1.62%），优于决策树（93.73%）和支持向量机（96.44%）。
• LR在计算效率方面表现更优，推理时间仅为35.56毫秒，显著快于SVM，且与DT相当。
• 决策树的计算速度虽快于LR，但表现出过拟合迹象，表现为训练与测试得分差距较大。
• SVM虽达到较高准确率（96.44%），但计算时间显著更长，限制了其在时间敏感型临床应用中的可扩展性。
• LR通过清晰的特征系数提供了透明的决策过程，这在医疗诊断中至关重要。
• 尽管复杂度较高，DT和SVM并未在性能上超越LR，且其在过拟合（DT）和速度（SVM）方面的缺点降低了其在此情境下的实际应用价值。

Figure 2: Distribution of each feature for both benign and malignant instances.