[论文解读] Towards Open Respiratory Acoustic Foundation Models: Pretraining and Benchmarking

Yuwei Zhang, Xia Tong+7 more|arXiv (Cornell University)|Jun 23, 2024

Acoustic Wave Phenomena Research被引用 4

一句话总结

该论文介绍了OPERA，一个用于在大规模、多源的136K例呼吸音音频数据集（总计440小时）上进行预训练和基准测试的开源框架。该系统通过对比学习和生成式自监督方法预训练了三个基础模型，并在19项下游任务中进行了基准测试，结果表明在16/19项任务中优于通用音频模型，凸显了针对呼吸健康应用进行领域特定预训练的价值。

ABSTRACT

Respiratory audio, such as coughing and breathing sounds, has predictive power for a wide range of healthcare applications, yet is currently under-explored. The main problem for those applications arises from the difficulty in collecting large labeled task-specific data for model development. Generalizable respiratory acoustic foundation models pretrained with unlabeled data would offer appealing advantages and possibly unlock this impasse. However, given the safety-critical nature of healthcare applications, it is pivotal to also ensure openness and replicability for any proposed foundation model solution. To this end, we introduce OPERA, an OPEn Respiratory Acoustic foundation model pretraining and benchmarking system, as the first approach answering this need. We curate large-scale respiratory audio datasets (~136K samples, over 400 hours), pretrain three pioneering foundation models, and build a benchmark consisting of 19 downstream respiratory health tasks for evaluation. Our pretrained models demonstrate superior performance (against existing acoustic models pretrained with general audio on 16 out of 19 tasks) and generalizability (to unseen datasets and new respiratory audio modalities). This highlights the great promise of respiratory acoustic foundation models and encourages more studies using OPERA as an open resource to accelerate research on respiratory audio for health. The system is accessible from https://github.com/evelyn0414/OPERA.

研究动机与目标

• 解决医疗应用中缺乏开放、大规模呼吸音数据集和基础模型的问题。
• 通过在无标签数据上实现自监督预训练，克服呼吸音建模中标签数据有限的挑战。
• 建立一个全面且可复现的基准，用于评估在多样化健康任务中呼吸音基础模型的性能。
• 通过发布整理后的数据、模型和评估协议，确保呼吸AI研究的开放性和可复现性。
• 证明领域特定基础模型在呼吸健康应用中优于通用音频模型。

提出的方法

• 从五个公开来源收集了大规模、多源的呼吸音音频数据集（136,000个样本，总计440小时），涵盖咳嗽、呼吸和肺部声音。
• 采用自监督学习方法预训练了三个基础模型：基于对比学习的Transformer（OPERA-CT）、基于对比学习的CNN（OPERA-CE）以及采用掩码频谱图重建的生成式Transformer（OPERA-GT）。
• 使用标准的对比学习目标（InfoNCE损失）和生成式重建目标（频谱图上的MSE损失）训练模型。
• 制定了19项下游任务，分为两类：12项用于健康状况推断（如COPD、哮喘、流感），7项用于肺功能估计（如FVC、FEV1）。
• 通过在线性探测和微调在10个带标签数据集上评估模型，其中包含6个未用于预训练的数据集，确保基准测试的公平性和泛化能力。
• 使用标准指标：分类任务使用AUROC，回归任务使用MAE和MAPE，并通过t-SNE可视化分析学习到的表征。

实验结果

研究问题

• RQ1 在大规模、多样化的呼吸音数据上预训练的基础模型，是否能比在通用音频上预训练的模型具有更好的泛化能力？
• RQ2 不同的自监督预训练目标（对比学习 vs. 生成式学习）在呼吸健康任务中的下游性能表现有何差异？
• RQ3 OPERA的基础模型在未见数据集和新型呼吸音模态上的泛化能力如何？
• RQ4 与线性探测相比，微调在呼吸音分类和回归任务中的性能提升程度如何？
• RQ5 一个开放、可复现的基准系统，是否能加速呼吸音建模的研究？

主要发现

• OPERA的基础模型在19项下游任务中的16项上优于通用音频模型（AudioMAE、CLAP），证明了领域特定预训练的优势。
• 生成式预训练模型（OPERA-GT）在健康状况推断任务中取得了最高的平均倒数排名（MRR）0.762，优于两种对比模型和基线模型。
• 在肺功能估计任务中，OPERA-CE在FEV1/FVC（呼吸）上的MAPE最低，为0.161 ± 0.152，在呼吸频率上的MAPE为0.193 ± 0.065，显示出强大的回归性能。
• 微调显著提升了性能：对于COPD检测（T7），OPERA-CT的AUROC从线性探测的0.855提升至微调后的0.957，而OPERA-GT则达到0.986。
• t-SNE可视化结果表明，OPERA-CE学习到了具有判别力且语义有意义的表征，不同呼吸状况的样本呈现清晰聚类。
• 在基于打鼾的体位识别任务（T12）中微调的模型，OPERA-CT的AUROC达到0.994，优于所有基线模型，显示出对新任务的强大泛化能力。