[论文解读] Neural Networks for Pulmonary Disease Diagnosis using Auditory and Demographic Information

Morteza Hosseini, Haoran Ren+4 more|arXiv (Cornell University)|Nov 26, 2020

COVID-19 diagnosis using AI被引用 10

一句话总结

本文提出了一种深度学习框架，通过使用两个并行的深度卷积神经网络（DCNN）将听诊呼吸音与人口统计学数据融合，从而提升肺部疾病诊断的准确性。在结合音频与人口统计学特征时，模型准确率提升了5%，并在NVIDIA TX2等边缘设备上评估了部署效率，展示了低功耗下具备可行的实时性能。

ABSTRACT

Pulmonary diseases impact millions of lives globally and annually. The recent outbreak of the pandemic of the COVID-19, a novel pulmonary infection, has more than ever brought the attention of the research community to the machine-aided diagnosis of respiratory problems. This paper is thus an effort to exploit machine learning for classification of respiratory problems and proposes a framework that employs as much correlated information (auditory and demographic information in this work) as a dataset provides to increase the sensitivity and specificity of a diagnosing system. First, we use deep convolutional neural networks (DCNNs) to process and classify a publicly released pulmonary auditory dataset, and then we take advantage of the existing demographic information within the dataset and show that the accuracy of the pulmonary classification increases by 5% when trained on the auditory information in conjunction with the demographic information. Since the demographic data can be extracted using computer vision, we suggest using another parallel DCNN to estimate the demographic information of the subject under test visioned by the processing computer. Lastly, as a proposition to bring the healthcare system to users' fingertips, we measure deployment characteristics of the auditory DCNN model onto processing components of an NVIDIA TX2 development board.

研究动机与目标

• 通过整合听诊信息与人口统计学信息，提升机器辅助肺部疾病诊断的敏感性和特异性。
• 开发一种可扩展、灵活的框架，可集成额外传感器数据，适用于家庭或公共卫生监测等多样化部署场景。
• 利用被动采集的音频与视频数据实现早期阶段、无需依赖诊所的诊断，减轻医疗系统负担。
• 评估将诊断模型部署于嵌入式边缘设备以实现低延迟、隐私保护型推理的可行性。

提出的方法

• 采用双分支DCNN架构，同时处理呼吸音录音与人口统计学特征（年龄、性别、种族），以提升分类准确性。
• 人口统计学特征可通过手动输入，或通过基于计算机视觉的第二条DCNN从患者图像中估计得出。
• 模型在包含126名受试者和7种疾病类别（含健康状态）的公开半平衡呼吸音数据集上进行训练。
• 音频数据采用基于EnvNet的DCNN处理，而人口统计学估计则通过在面部图像上训练的独立DCNN实现年龄与性别预测。
• 在NVIDIA TX2板卡上评估了不同时钟频率下的CPU仅与CPU+GPU配置的模型部署性能。
• 性能指标包括推理延迟、功耗、每瓦特算术运算量（GFLOPS/W）以及不同硬件设置下的能效。

实验结果

研究问题

• RQ1 将听诊信息与人口统计学信息结合，能否提升深度学习模型在肺部疾病分类中的准确性？
• RQ2 在DCNN中引入人口统计学数据，对呼吸系统疾病诊断的敏感性和特异性有何影响？
• RQ3 能否通过并行DCNN从面部图像中准确估计人口统计学特征，以用于诊断？
• RQ4 在嵌入式边缘设备上部署DCNN模型时，硬件资源与能效之间的权衡如何？

主要发现

• 与仅使用音频的模型相比，将人口统计学信息加入基于音频的DCNN后，分类准确率提升了5%。
• 当结合音频与人口统计学特征时，模型在测试集上达到83%的准确率，优于先前仅使用音频的模型（报告准确率为97%，但数据集严重失衡）。
• 在NVIDIA TX2的CPU+GPU配置下实现了最高效的能效，推理耗时0.1秒，能耗为1.935 J。
• 功耗最低的配置（低频运行的Denver CPU）每次推理耗时10秒，功耗8.81 mW，能耗0.019 J。
• CPU+GPU配置的能效达到0.91 GFLOPS/W，优于仅使用CPU的配置。
• 该框架可在边缘设备上实现实时、低延迟的诊断，支持隐私保护型本地推理。