[论文解读] Training one model to detect heart and lung sound events from single point auscultations

Leander Melms, Robert R. Ilesan+12 more|arXiv (Cornell University)|Jan 15, 2023

Phonocardiography and Auscultation Techniques被引用 4

一句话总结

本文提出了一种半监督多任务学习方法，用于训练单一深度学习模型，从单点听诊中检测心脏和肺部声音事件，且对听诊部位和设备具有不变性。通过结合来自专业单任务模型的伪标签背景事件与真实标签数据，统一模型在六个类别上的宏平均F1得分为39.2%，比基线单任务模型高出6.7%，实现了从任意位置对心脏肺部声音的鲁棒、泛化性强的检测。

ABSTRACT

Objective: This work proposes a semi-supervised training approach for detecting lung and heart sounds simultaneously with only one trained model and in invariance to the auscultation point. Methods: We use open-access data from the 2016 Physionet/CinC Challenge, the 2022 George Moody Challenge, and from the lung sound database HF_V1. We first train specialist single-task models using foreground ground truth (GT) labels from different auscultation databases to identify background sound events in the respective lung and heart auscultation databases. The pseudo-labels generated in this way were combined with the ground truth labels in a new training iteration, such that a new model was subsequently trained to detect foreground and background signals. Benchmark tests ensured that the newly trained model could detect both, lung, and heart sound events in different auscultation sites without regressing on the original task. We also established hand-validated labels for the respective background signal in heart and lung sound auscultations to evaluate the models. Results: In this work, we report for the first time results for i) a multi-class prediction for lung sound events and ii) for simultaneous detection of heart and lung sound events and achieve competitive results using only one model. The combined multi-task model regressed slightly in heart sound detection and gained significantly in lung sound detection accuracy with an overall macro F1 score of 39.2% over six classes, representing a 6.7% improvement over the single-task baseline models. Conclusion/Significance: To the best of our knowledge, this is the first approach developed to date for measuring heart and lung sound events invariant to both, the auscultation site and capturing device. Hence, our model is capable of performing lung and heart sound detection from any auscultation location.

研究动机与目标

• 开发一种统一模型，能够检测单点听诊中的心脏和肺部声音事件，且不受位置或设备影响。
• 解决多模态肺部和心脏声音检测中注释数据有限的挑战。
• 通过利用专业模型生成的伪标签来提升泛化能力，从而提高检测性能。
• 在单一端到端可训练模型中实现对听诊部位和录音设备的不变性。
• 建立基于最少人工注释数据的同步、多类别肺部和心脏声音事件检测基准。

提出的方法

• 该方法首先在2016年PhysioNet/CinC挑战赛、2022年George Moody挑战赛以及HF_V1肺部声音数据库的前景真实标签上分别训练单任务模型。
• 利用训练好的模型识别背景声音事件，并将其预测结果用作原始数据集中未标注样本的伪标签。
• 将伪标签化的背景数据与原始真实标签数据结合，形成新的、扩展后的联合多任务模型训练集。
• 联合模型被训练以同时检测心脏和肺部声音记录中的前景（异常）和背景（正常）事件。
• 创建了一个经过人工验证的、包含心脏和肺部听诊中背景信号的数据集，用于独立评估模型性能。
• 在不同听诊部位和设备上对最终模型进行基准测试，以确保其具备不变性。

实验结果

研究问题

• RQ1 单一深度学习模型是否能以高精度在不同听诊部位和设备上检测心脏和肺部声音事件？
• RQ2 对背景事件进行半监督伪标签化，在低资源多模态听诊数据中如何提升检测性能？
• RQ3 与单任务模型相比，联合多任务训练在单个任务上的性能退化程度如何？
• RQ4 该模型是否能在无需微调或重新训练的情况下泛化到新的听诊位置？
• RQ5 将伪标签化的背景数据与真实真实标签数据结合，对整体检测F1得分有何影响？

主要发现

• 联合多任务模型在六个肺部和心脏声音事件类别上的宏平均F1得分为39.2%，比单任务基线模型高出6.7%。
• 模型在肺部声音检测精度方面表现出显著提升，同时在心脏声音检测方面保持了可接受的性能。
• 模型对听诊部位和录音设备表现出不变性，可实现从任意单点位置的可靠检测。
• 从专业模型中生成的背景事件伪标签有效增强了联合模型的泛化能力。
• 人工验证的背景标签证实了模型在心脏和肺部记录中正确识别正常生理声音的能力。
• 基准测试表明，该模型未在原始单任务性能上出现退化，验证了半监督多任务方法的有效性。