[论文解读] Pressure Ulcer Categorisation using Deep Learning: A Clinical Trial to Evaluate Model Performance

Paul Fergus, Carl Chalmers+3 more|arXiv (Cornell University)|Mar 7, 2022

Pressure Ulcer Prevention and Management被引用 4

一句话总结

本研究评估了一种基于深度学习的移动系统，采用Faster R-CNN技术，通过智能手机拍摄的图像在真实世界NHS临床试验中自动分类压力性溃疡（I–IV期、深部组织损伤DTI、无法分期）。基于216张经验证的图像，模型在0.75置信度阈值下的平均F1得分达到0.6786，表明其在社区护理标准化报告中具有潜在应用前景，但尚未达到临床应用所需性能。

ABSTRACT

Pressure ulcers are a challenge for patients and healthcare professionals. In the UK, 700,000 people are affected by pressure ulcers each year. Treating them costs the National Health Service {\\pounds}3.8 million every day. Their etiology is complex and multifactorial. However, evidence has shown a strong link between old age, disease-related sedentary lifestyles and unhealthy eating habits. Pressure ulcers are caused by direct skin contact with a bed or chair without frequent position changes. Urinary and faecal incontinence, diabetes, and injuries that restrict body position and nutrition are also known risk factors. Guidelines and treatments exist but their implementation and success vary across different healthcare settings. This is primarily because healthcare practitioners have a) minimal experience in dealing with pressure ulcers, and b) a general lack of understanding of pressure ulcer treatments. Poorly managed, pressure ulcers lead to severe pain, poor quality of life, and significant healthcare costs. In this paper, we report the findings of a clinical trial conducted by Mersey Care NHS Foundation Trust that evaluated the performance of a faster region-based convolutional neural network and mobile platform that categorised and documented pressure ulcers. The neural network classifies category I, II, III, and IV pressure ulcers, deep tissue injuries, and unstageable pressure ulcers. Photographs of pressure ulcers taken by district nurses are transmitted over 4/5G communications to an inferencing server for classification. Classified images are stored and reviewed to assess the model's predictions and relevance as a tool for clinical decision making and standardised reporting. The results from the study generated a mean average Precision=0.6796, Recall=0.6997, F1-Score=0.6786 with 45 false positives using an @.75 confidence score threshold.

研究动机与目标

• 为解决医护人员，特别是社区护士在临床实践中对压力性溃疡分类的临床差异性和不一致性问题。
• 开发并评估一种基于人工智能的移动系统，利用深度学习实现实时临床决策支持，实现压力性溃疡分类的标准化。
• 评估在初级保健环境中，基于真实世界、低质量临床图像训练的Faster R-CNN模型的可行性与性能。
• 识别影响模型性能的主要障碍，如图像质量差和类别不平衡，并为未来改进提出解决方案。
• 倡导公开共享高质量的压力性溃疡图像及标准化摄影协议，以提升人工智能模型的准确性。

提出的方法

• 使用Faster区域卷积神经网络（Faster R-CNN）对压力性溃疡进行分类，分为六种类别：I期、II期、III期、IV期、深部组织损伤（DTI）和无法分期。
• 社区护士使用手机拍摄压力性溃疡图像，并通过4G/5G网络将图像传输至利物浦约翰摩尔斯大学的服务器进行推理。
• 通过裁剪图像以聚焦于伤口区域，减少环境差异，从而提升模型性能。
• 系统采用迁移学习，使用预训练主干网络，并在为期八个月收集的1,016张图像数据集上进行微调，经质量筛选后缩减为216张。
• 采用标准目标检测指标评估性能：平均平均精度（mAP）、平均召回率（mAR）和平均F1得分（mAF1）。
• 应用0.75的置信度阈值以平衡精确率与召回率，并对误报进行临床相关性分析。

实验结果

研究问题

• RQ1 在社区医疗环境中，基于真实世界、低质量的智能手机图像，深度学习模型能否准确分类多种分期和类型的压疮？
• RQ2 图像裁剪与预处理对Faster R-CNN模型在压疮分类中的性能有何影响？
• RQ3 当前模型的性能在多大程度上满足常规患者护理与报告的临床标准？
• RQ4 在获取足够数量、高质量且类别平衡的训练数据方面，压疮分类模型面临的主要挑战是什么？
• RQ5 如何通过标准化摄影协议和数据共享来提升未来模型的性能与临床采纳率？

主要发现

• 在0.75置信度阈值下，模型的平均F1得分为0.6786，精确率为0.6796，召回率为0.6997，表明性能中等但尚未达到临床应用所需水平。
• 图像裁剪显著提升了模型性能，使mAP从0.3639提高至0.6796，凸显了聚焦于伤口的重要性。
• 系统共产生45个假阳性结果，表明在区分压疮与类似皮肤状况或伪影方面仍有改进空间。
• 尽管训练数据包含低质量的网络图像，模型仍取得了合理的结果，表明若使用更高品质数据，性能有望进一步提升。
• 本研究识别出，为实现90百分位数性能水平，至少需要9,000张高质量、类别平衡的图像（每类1,500张），而本试验未达到该目标。
• 研究结果强调了标准化摄影与开放数据共享在推动人工智能在压疮管理中应用中的关键作用。