[论文解读] Skin cancer diagnosis using NIR spectroscopy data of skin lesions in vivo using machine learning algorithms

Flavio P. Loss, Pedro Henrique da Cunha+13 more|arXiv (Cornell University)|Jan 2, 2024

Spectroscopy Techniques in Biomedical and Chemical ResearchBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本研究引入了NIR-SC-UFES数据集，这是一个新型的在体近红外光谱（NIR）皮肤病变数据集，采集自患者，评估了机器学习模型（特别是经过SNV预处理和生成对抗网络（GAN）数据增强的LightGBM）在分类恶性（黑色素瘤、基底细胞癌、鳞状细胞癌）与良性（良性痣、日光性角化病、脂溢性角化病）病变方面的表现。最佳模型实现了83.9%的平衡准确率、85.1%的召回率、85.2%的精确率和85.0%的F1分数，标志着向基于光谱的自动化皮肤癌分诊迈出了基础性一步。

ABSTRACT

Skin lesions are classified in benign or malignant. Among the malignant, melanoma is a very aggressive cancer and the major cause of deaths. So, early diagnosis of skin cancer is very desired. In the last few years, there is a growing interest in computer aided diagnostic (CAD) using most image and clinical data of the lesion. These sources of information present limitations due to their inability to provide information of the molecular structure of the lesion. NIR spectroscopy may provide an alternative source of information to automated CAD of skin lesions. The most commonly used techniques and classification algorithms used in spectroscopy are Principal Component Analysis (PCA), Partial Least Squares - Discriminant Analysis (PLS-DA), and Support Vector Machines (SVM). Nonetheless, there is a growing interest in applying the modern techniques of machine and deep learning (MDL) to spectroscopy. One of the main limitations to apply MDL to spectroscopy is the lack of public datasets. Since there is no public dataset of NIR spectral data to skin lesions, as far as we know, an effort has been made and a new dataset named NIR-SC-UFES, has been collected, annotated and analyzed generating the gold-standard for classification of NIR spectral data to skin cancer. Next, the machine learning algorithms XGBoost, CatBoost, LightGBM, 1D-convolutional neural network (1D-CNN) were investigated to classify cancer and non-cancer skin lesions. Experimental results indicate the best performance obtained by LightGBM with pre-processing using standard normal variate (SNV), feature extraction providing values of 0.839 for balanced accuracy, 0.851 for recall, 0.852 for precision, and 0.850 for F-score. The obtained results indicate the first steps in CAD of skin lesions aiming the automated triage of patients with skin lesions in vivo using NIR spectral data.

研究动机与目标

• 为解决当前缺乏公开可用的皮肤病变在体近红外光谱数据集的问题。
• 评估现代机器学习与深度学习算法在光谱数据上的表现，以实现自动化皮肤癌诊断。
• 研究预处理、特征提取以及数据增强（SMOTE与GAN）对分类性能的影响。
• 利用SHAP可解释性方法识别区分癌变与非癌变病变的关键光谱区域。
• 为未来基于非侵入性、分子水平光谱数据的临床分诊工具奠定基础。

提出的方法

• 使用便携式Micronir光谱仪从168名患者中采集了900–1700 nm波段的在体近红外光谱数据。
• 构建了NIR-SC-UFES数据集，包含6种病变类型：黑色素瘤（MEL）、基底细胞癌（BCC）、鳞状细胞癌（SCC）、良性痣（NEV）、日光性角化病（ACK）和脂溢性角化病（SEK）。
• 应用标准正态变量（SNV）预处理以减少光谱数据中的散射效应。
• 通过统计描述符进行特征提取，并应用SMOTE和基于GAN的过采样方法以缓解类别不平衡问题。
• 在预处理和增强后的数据上训练并比较了XGBoost、CatBoost、LightGBM、1D-CNN、SVM和PLS-DA模型。
• 使用SHAP分析解释模型预测结果，并识别出最具区分性的光谱区域（939.072–994.821 nm）。

Figure 2: Acquisition of the NIR spectral data of a patient lesion using the Micronir portable spectrometer.

实验结果

研究问题

• RQ1 尽管样本量有限，机器学习模型是否能有效利用在体近红外光谱数据对皮肤病变进行分类？
• RQ2 不同的预处理和数据增强技术（SNV、GAN、SMOTE）如何影响光谱数据上的分类性能？
• RQ3 在该新型光谱数据集上，传统模型（SVM、PLS-DA）与现代模型（GBM、1D-CNN）中哪类表现更优？
• RQ4 哪些光谱区域对区分恶性与良性皮肤病变最具信息量？
• RQ5 可解释性方法（如SHAP）在分类过程中能否识别出具有生物学意义的光谱特征？

主要发现

• 经过SNV预处理和基于GAN的数据增强，LightGBM模型表现最佳，达到83.9%的平衡准确率、85.1%的召回率、85.2%的精确率和85.0%的F1分数。
• SHAP分析识别出最具区分性的光谱区域位于939.072 nm至994.821 nm之间。
• 在梯度提升模型中，LightGBM略优于CatBoost，而XGBoost表现相当但一致性较差。
• 使用GAN进行数据增强显著提升了模型的泛化能力，尤其对黑色素瘤等代表性不足的病变类型效果明显。
• 1D-CNN在结合SNV预处理后表现出较强的减少误报和漏报的能力，但需要更多数据才能完全收敛。
• NIR-SC-UFES数据集是首个公开可用的在体近红外光谱皮肤病变数据集，为未来研究提供了关键基准。

Figure 3: Spectral data sample of the six kind of skin lesions contained in the NIR-SC-UFES dataset.