[论文解读] StrokeSave: A Novel, High-Performance Mobile Application for Stroke Diagnosis using Deep Learning and Computer Vision

Ankit Gupta|arXiv (Cornell University)|Jul 9, 2019

Retinal Imaging and Analysis参考文献 7被引用 10

一句话总结

StrokeSave 是一款移动应用程序，利用深度学习和计算机视觉技术，通过智能手机采集生命体征、面部图像、语音录音和视网膜扫描，实现中风的自我诊断。该系统通过结合用于视网膜病变检测的卷积神经网络（CNN）、用于血管数据的支持向量机（SVM）以及用于语音分析的循环神经网络（RNN），实现了 95.0% 的整体准确率——超过临床检查的准确率。

ABSTRACT

According to the WHO, Cerebrovascular Stroke, or CS, is the second largest cause of death worldwide. Current diagnosis of CS relies on labor and cost intensive neuroimaging techniques, unsuitable for areas with inadequate access to quality medical facilities. Thus, there is a great need for an efficient diagnosis alternative. StrokeSave is a platform for users to self-diagnose for prevalence to stroke. The mobile app is continuously updated with heart rate, blood pressure, and blood oxygen data from sensors on the patient wrist. Once these measurements reach a threshold for possible stroke, the patient takes facial images and vocal recordings to screen for paralysis attributed to stroke. A custom designed lens attached to a phone's camera then takes retinal images for the deep learning model to classify based on presence of retinopathy and sends a comprehensive diagnosis. The deep learning model, which consists of a RNN trained on 100 voice slurred audio files, a SVM trained on 410 vascular data points, and a CNN trained on 520 retinopathy images, achieved a holistic accuracy of 95.0 percent when validated on 327 samples. This value exceeds that of clinical examination accuracy, which is around 40 to 89 percent, further demonstrating the vital utility of such a medical device. Through this automated platform, users receive efficient, highly accurate diagnosis without professional medical assistance, revolutionizing medical diagnosis of CS and potentially saving millions of lives.

研究动机与目标

• 为应对中风这一全球第二大死亡原因带来的负担，通过在资源匮乏地区实现快速、低成本的诊断。
• 通过开发基于移动设备的诊断平台，减少对昂贵且难以获取的神经影像学检查的依赖。
• 将多模态数据（生命体征、语音、面部、视网膜）整合到单一诊断系统中，以提升中风检测的准确性。
• 实现超越传统临床检查的诊断准确率，后者准确率范围为 40% 至 89%。
• 提供一种自动化、用户友好的自我诊断工具，无需专业医疗监督。

提出的方法

• 该应用程序从可穿戴传感器实时收集数据，包括心率、血压和血氧水平。
• 当生理指标阈值提示中风风险时，应用程序会提示用户拍摄面部图像并录制语音，以检测面部瘫痪。
• 通过附加在智能手机摄像头上的定制镜头捕获视网膜图像以供分析。
• 使用 520 张视网膜病变图像训练卷积神经网络（CNN），以检测与中风相关的视网膜病变迹象。
• 使用 410 个血管数据点训练支持向量机（SVM），以根据生理指标评估中风风险。
• 使用 100 个发音不清的语音样本训练循环神经网络（RNN），以检测与中风相关的言语障碍。

实验结果

研究问题

• RQ1 与标准临床方法相比，集成多模态生理和视觉数据的移动应用程序是否能提升中风诊断的准确率？
• RQ2 在有限数据集（例如 100 个语音样本）上训练的深度学习模型，在多大程度上能检测到中风的早期迹象？
• RQ3 通过智能手机摄像头配合定制镜头进行视网膜成像，是否能可靠地检测与中风相关的视网膜病变？
• RQ4 结合模型（CNN + SVM + RNN）的整体性能与各独立模型相比，在中风诊断中表现如何？
• RQ5 此类系统是否能在资源有限的环境中实现准确、低成本的中风筛查？

主要发现

• 整体诊断模型在 327 个验证样本上实现了 95.0% 的准确率，显著优于临床检查的准确率（40%–89%）。
• CNN 组件在仅使用 520 个训练样本的情况下，即能高效分类视网膜图像中的视网膜病变。
• RNN 模型成功从 100 个发音不清的音频文件中识别出言语障碍，有助于早期发现与中风相关的神经功能缺损。
• SVM 模型有效处理了 410 个血管数据点，能够根据生命体征评估中风风险。
• 多模态数据（生命体征、语音、面部、视网膜）的整合显著提升了诊断的稳健性和整体准确率。
• 该系统可实现无需专业医疗人员介入的自动化自我诊断，为资源匮乏人群提供可扩展的解决方案。