[论文解读] On Breast Cancer Detection: An Application of Machine Learning Algorithms on the Wisconsin Diagnostic Dataset

Abien Fred Agarap|arXiv (Cornell University)|Nov 20, 2017

AI in cancer detection参考文献 16被引用 33

一句话总结

本研究在威斯康星州乳腺癌诊断（WDBC）数据集上评估了六种机器学习算法，包括一种新型的GRU-SVM模型，用于良性与恶性肿瘤的二分类任务。多层感知机（MLP）在测试集上达到了约99.04%的最高准确率，表现出所有模型中最强的性能，所有算法的准确率均超过90%。

ABSTRACT

This paper presents a comparison of six machine learning (ML) algorithms: GRU-SVM (Agarap, 2017), Linear Regression, Multilayer Perceptron (MLP), Nearest Neighbor (NN) search, Softmax Regression, and Support Vector Machine (SVM) on the Wisconsin Diagnostic Breast Cancer (WDBC) dataset (Wolberg, Street, & Mangasarian, 1992) by measuring their classification test accuracy and their sensitivity and specificity values. The said dataset consists of features which were computed from digitized images of FNA tests on a breast mass (Wolberg, Street, & Mangasarian, 1992). For the implementation of the ML algorithms, the dataset was partitioned in the following fashion: 70% for training phase, and 30% for the testing phase. The hyper-parameters used for all the classifiers were manually assigned. Results show that all the presented ML algorithms performed well (all exceeded 90% test accuracy) on the classification task. The MLP algorithm stands out among the implemented algorithms with a test accuracy of ~99.04%.

研究动机与目标

• 评估六种机器学习算法在威斯康星州乳腺癌诊断（WDBC）数据集上的性能，用于良性与恶性肿瘤的二分类任务。
• 评估新提出的GRU-SVM模型在相同数据集上相较于传统分类器的有效性。
• 在标准化的70/30训练-测试划分下，分析每种算法的敏感性、特异性和测试准确率。
• 探究非线性模型（如GRU-SVM）是否在假设为线性可分的数据集中优于线性模型。
• 为使用真实世界医学影像数据进行临床决策支持中的机器学习应用提供实证依据。

提出的方法

• 使用由乳腺肿块细针穿刺（FNA）图像数字化生成的30个特征的WDBC数据集进行训练和测试。
• 将数据集按70%训练集和30%测试集进行划分，并使用z分数标准化（z = (X - μ) / σ）对特征进行标准化处理。
• GRU-SVM模型将门控循环单元（GRU）RNN与线性支持向量机（SVM）结合，其中GRU的隐藏状态作为SVM分类器的输入。
• GRU的核心方程包括更新门（z）、重置门（r）、候选隐藏状态（h̃t）和最终隐藏状态（ht），采用Sigmoid和Tanh激活函数。
• 除GRU-SVM、最近邻和SVM外，所有模型均使用随机梯度下降（SGD）进行训练；后三者使用专用优化方法或无需训练。
• 通过测试准确率、敏感性和特异性对模型进行评估，并对超参数进行手动调优。

实验结果

研究问题

• RQ1 不同机器学习算法在使用WDBC数据集对良性与恶性乳腺肿瘤进行分类时表现如何？
• RQ2 所提出的GRU-SVM模型在WDBC数据集上是否与SVM和MLP等成熟模型相比表现出具有竞争力的性能？
• RQ3 WDBC数据集是否线性可分？在线性模型与非线性模型的比较中，哪类模型表现更优？
• RQ4 模型架构与训练过程对分类准确率、敏感性和特异性有何影响？
• RQ5 基于深度学习的模型（如MLP和GRU-SVM）是否能在该基于医学影像的分类任务中实现更优性能？

主要发现

• 多层感知机（MLP）在测试集上达到最高准确率，约为99.04%，显著优于所有其他模型。
• 所有六种机器学习算法的测试准确率均超过90%，表明在WDBC数据集上具有出色的泛化性能。
• L2-SVM的测试准确率达到约96.09%，优于先前使用60/40划分时报告的89.28%。
• GRU-SVM模型的测试准确率为93.75%，表明其可能因架构与数据结构不匹配，在线性可分数据上表现不佳。
• Softmax回归和L2-SVM的训练准确率分别达到97.37%和97.73%，表明训练过程中收敛良好。
• 最近邻搜索无需训练，因其直接计算到最近邻数据点的距离，因此未记录训练准确率。