[论文解读] On the in vivo recognition of kidney stones using machine learning

Lopez-Tiro, Francisco, V. Estrade+5 more|arXiv (Cornell University)|Jan 21, 2022

Kidney Stones and Urolithiasis Treatments被引用 9

一句话总结

本研究提出了一种用于在输尿管镜检查期间基于内镜图像对肾结石进行分类的体内机器学习方法，比较了浅层学习方法与深度学习架构的性能。Inception v3 模型取得了最高性能，加权 F1 分数为 0.97，而使用优化后的颜色和纹理特征的 XGBoost 模型也达到了 0.96 的 F1 分数，表明在成像条件不可控的临床环境中，手工设计特征可与深度学习相媲美。

ABSTRACT

Determining the type of kidney stones allows urologists to prescribe a treatment to avoid recurrence of renal lithiasis. An automated in-vivo image-based classification method would be an important step towards an immediate identification of the kidney stone type required as a first phase of the diagnosis. In the literature it was shown on ex-vivo data (i.e., in very controlled scene and image acquisition conditions) that an automated kidney stone classification is indeed feasible. This pilot study compares the kidney stone recognition performances of six shallow machine learning methods and three deep-learning architectures which were tested with in-vivo images of the four most frequent urinary calculi types acquired with an endoscope during standard ureteroscopies. This contribution details the database construction and the design of the tested kidney stones classifiers. Even if the best results were obtained by the Inception v3 architecture (weighted precision, recall and F1-score of 0.97, 0.98 and 0.97, respectively), it is also shown that choosing an appropriate colour space and texture features allows a shallow machine learning method to approach closely the performances of the most promising deep-learning methods (the XGBoost classifier led to weighted precision, recall and F1-score values of 0.96). This paper is the first one that explores the most discriminant features to be extracted from images acquired during ureteroscopies.

研究动机与目标

• 开发并评估用于在输尿管镜检查期间实时、体内分类肾结石的机器学习模型，基于内镜图像。
• 在临床条件下成像不受控制的体内图像上，比较浅层机器学习方法与深度学习架构的性能。
• 识别能提升分类准确率的最有效特征空间（如颜色、纹理），而无需完全依赖深度神经网络。
• 构建一个临床相关的体内肾结石图像数据库，涵盖四种最常见的类型：Whewellite、Weddellite、Uric Acid Dihydrate 和 Struvite。
• 评估自动化肾结石类型识别的可行性，以支持个性化治疗并降低泌尿外科中的复发率。

提出的方法

• 从四种常见类型的输尿管镜检查中收集了 1,058 幅肾结石的体内内镜图像：I型（Whewellite）、II型（Weddellite）、IIIb型（Uric Acid Dihydrate）和 IVc型（Struvite）。
• 使用多种颜色空间（RGB、HSV、HSI）对图像进行预处理，并利用局部二值模式（LBP）和灰度共生矩阵（GLCM）提取纹理特征。
• 在数据集上训练六种浅层学习模型（如 XGBoost、随机森林、SVM）和三种深度学习模型（Inception v3、ResNet-101、DenseNet-121）用于多类别分类。
• 使用各类别的加权精确率、召回率和 F1 分数评估模型性能，并利用 UMAP 可视化分析特征空间聚类和模型行为。
• 将 UMAP 可视化集成到交互式工具（Iva）中，以探索模型预测结果以及在混合和纯结石类型中的类别可分性。
• 通过交叉验证优化超参数，并在表面、切面以及表面/切面混合图像类型上评估泛化能力。

实验结果

研究问题

• RQ1 在成像条件不可控的体内肾结石图像上，浅层机器学习模型能否实现高分类准确率？
• RQ2 在真实临床环境中，深度学习模型与浅层学习模型在基于内镜图像分类肾结石类型方面的表现如何比较？
• RQ3 哪些颜色空间和纹理特征能显著提升肾结石识别的分类性能？
• RQ4 在临床图像中，如何区分形态相似的结石类型（如 Weddellite 与尿酸，Whewellite 与 Weddellite）？
• RQ5 在真实输尿管镜视频中，不同图像类型（表面、切面、混合）下的模型性能和类别可分性如何变化？

主要发现

• Inception v3 深度学习模型在所有四种肾结石类型上均取得了最高性能，加权 F1 分数为 0.97，精确率为 0.97，召回率为 0.98。
• 使用优化后的颜色和纹理特征的 XGBoost 分类器取得了 0.96 的加权 F1 分数，表明浅层学习可与深度学习性能高度接近。
• Weddellite（II型）和 Brushite（IVd型）的模型性能最低，召回值较低，表明其形态相似性导致分类困难。
• Uric Acid Dihydrate（IIIb型）是所有模型中分类最一致的类型，具有高精确率和高召回率。
• UMAP 可视化结果证实，Uric Acid Dihydrate 的类别可分性最高，而 Weddellite 和 Brushite 的可分性最低，与定量性能指标一致。
• 使用 HSV 和 HSI 颜色空间可提高模型鲁棒性，并减少对大型深度网络的依赖，表明其在临床部署中具有实现更快推理的潜力。