[论文解读] Not to Cry Wolf: Distantly Supervised Multitask Learning in Critical Care

Patrick Schwab, E. Keller+4 more|arXiv (Cornell University)|Feb 14, 2018

Healthcare Technology and Patient Monitoring参考文献 52被引用 14

一句话总结

该论文提出DSMT-Nets，一种新颖的多任务神经网络，通过利用多变量ICU时间序列的远程监督辅助任务，以极少的专家标注数据显著减少误报。通过利用任务多样性并缓解有害的梯度交互，该方法仅使用25–100个标注样本即实现最先进性能，在危重症监护中显著提升了误报检测能力。

ABSTRACT

Patients in the intensive care unit (ICU) require constant and close supervision. To assist clinical staff in this task, hospitals use monitoring systems that trigger audiovisual alarms if their algorithms indicate that a patient's condition may be worsening. However, current monitoring systems are extremely sensitive to movement artefacts and technical errors. As a result, they typically trigger hundreds to thousands of false alarms per patient per day - drowning the important alarms in noise and adding to the exhaustion of clinical staff. In this setting, data is abundantly available, but obtaining trustworthy annotations by experts is laborious and expensive. We frame the problem of false alarm reduction from multivariate time series as a machine-learning task and address it with a novel multitask network architecture that utilises distant supervision through multiple related auxiliary tasks in order to reduce the number of expensive labels required for training. We show that our approach leads to significant improvements over several state-of-the-art baselines on real-world ICU data and provide new insights on the importance of task selection and architectural choices in distantly supervised multitask learning.

研究动机与目标

• 解决ICU中报警疲劳这一关键问题，即监测系统产生的误报使临床医生不堪重负，危及患者安全。
• 克服在多变量生理时间序列中进行误报检测时专家标注数据成本高昂且稀缺的问题。
• 开发一种半监督学习框架，通过远程监督的辅助任务有效利用大量未标注的ICU数据。
• 通过最小化对昂贵专家标注的依赖，同时保持高特异性以避免抑制真实报警，提升标注效率。
• 研究任务选择与网络架构设计对临床时间序列中远程监督多任务学习的影响。

提出的方法

• 提出DSMT-Nets，一种多任务神经网络架构，联合训练主报警分类任务与从生理信号中提取的多个辅助任务。
• 通过从多变量时间序列中进行特征提取与选择，自动生成辅助任务，使用如RR间期、心率变异性及运动伪影等信号衍生特征。
• 实施梯度归一化技术，以在反向传播过程中抵消主任务与辅助任务之间有害的梯度交互。
• 采用课程学习策略，根据任务多样性而非特征重要性选择辅助任务，以提升泛化能力并减少冗余。
• 通过假设已知伪影或技术错误的信号可作为误报检测的弱标签代理，应用远程监督。
• 在真实ICU数据上端到端训练模型，仅为主任务使用少量专家标注标签。

实验结果

研究问题

• RQ1 远程监督的多任务学习是否能显著减少ICU监测中误报检测所需的专家标注标签数量？
• RQ2 辅助任务之间的任务多样性如何影响时间序列中远程监督多任务学习的模型性能？
• RQ3 任务间有害的梯度交互在多大程度上降低模型性能，是否可被有效缓解？
• RQ4 与最先进半监督学习方法相比，所提出的DSMT-Net架构在分类准确率与标注效率方面表现如何？
• RQ5 辅助任务选择策略（如随机选择与基于特征重要性的选择）对模型泛化能力与鲁棒性有何影响？

主要发现

• DSMT-Nets在误报检测方面优于多个最先进基线模型，即使仅使用25个标注样本也实现了显著改进。
• 该模型仅使用50个标注样本即实现卓越性能，表明在低数据环境下具有极高的标注效率。
• 随机选择辅助任务的表现优于基于特征重要性的选择，表明任务多样性比单个特征的相关性更为重要。
• 包含100个辅助任务的设置优于6个辅助任务，表明更大且多样的任务集合可提升泛化能力并降低对选择偏差的敏感性。
• 任务间的有害梯度交互是重大挑战，但所提出的梯度归一化技术有效缓解了其负面影响。
• 由于其在减少误报的同时通过高特异性保持临床安全，该方法在临床环境中具有强大的实际部署潜力。