[论文解读] Self-supervised Pretraining and Transfer Learning Enable Flu and COVID-19 Predictions in Small Mobile Sensing Datasets

Mike A. Merrill, Tim Althoff|arXiv (Cornell University)|May 26, 2022

Data-Driven Disease Surveillance被引用 5

一句话总结

该论文提出了一种用于移动健康传感中多变量时间序列分类的自监督预训练与迁移学习框架，采用CNN-Transformer架构以捕捉长程依赖关系和缺失数据模式。该方法在基线模型上实现了最高0.15的AUC提升，并实现了0.68 ROC AUC的零样本新冠预测，展示了对新发传染病具有可迁移的行为表征能力。

ABSTRACT

Detailed mobile sensing data from phones, watches, and fitness trackers offer an unparalleled opportunity to quantify and act upon previously unmeasurable behavioral changes in order to improve individual health and accelerate responses to emerging diseases. Unlike in natural language processing and computer vision, deep representation learning has yet to broadly impact this domain, in which the vast majority of research and clinical applications still rely on manually defined features and boosted tree models or even forgo predictive modeling altogether due to insufficient accuracy. This is due to unique challenges in the behavioral health domain, including very small datasets (~10^1 participants), which frequently contain missing data, consist of long time series with critical long-range dependencies (length>10^4), and extreme class imbalances (>10^3:1). Here, we introduce a neural architecture for multivariate time series classification designed to address these unique domain challenges. Our proposed behavioral representation learning approach combines novel tasks for self-supervised pretraining and transfer learning to address data scarcity, and captures long-range dependencies across long-history time series through transformer self-attention following convolutional neural network-based dimensionality reduction. We propose an evaluation framework aimed at reflecting expected real-world performance in plausible deployment scenarios. Concretely, we demonstrate (1) performance improvements over baselines of up to 0.15 ROC AUC across five prediction tasks, (2) transfer learning-induced performance improvements of 16% PR AUC in small data scenarios, and (3) the potential of transfer learning in novel disease scenarios through an exploratory case study of zero-shot COVID-19 prediction in an independent data set. Finally, we discuss potential implications for medical surveillance testing.

研究动机与目标

• 为解决行为健康预测中移动传感数据有限、不平衡且嘈杂的挑战。
• 开发一种能够在小样本数据集和新疾病情景下实现泛化的深度学习框架。
• 通过原始传感器数据而非人工特征工程，提升对流感和新冠等呼吸道感染的预测性能。
• 建立一个反映真实世界部署条件并减少极端类别不平衡导致的统计不确定性的现实评估框架。

提出的方法

• 该模型采用分层架构，结合卷积神经网络（CNN）对原始分钟级传感器数据进行降维和时序特征提取。
• 利用Transformer自注意力机制捕捉长达10,000个时间步的长历史时间序列中的长程依赖关系。
• 引入新颖的自监督预训练任务，特别是融合领域知识的“领域启发特征”任务，以从有限数据中学习可泛化的表征。
• 模型显式建模缺失数据模式，而非丢弃不完整的序列，从而提升在真实世界数据中的鲁棒性。
• 通过在流感预测任务上微调在领域启发自监督任务上预训练的模型，应用迁移学习。
• 提出一个综合评估框架，整合多个预测任务并考虑极端类别不平衡，以减少对真实世界性能的高估。

实验结果

研究问题

• RQ1 在参与者数量有限且类别严重不平衡的小型移动传感数据集中，自监督预训练能否提升流感和新冠预测的性能？
• RQ2 在使用流感相关数据预训练的表征基础上，迁移学习在实现新型疾病（如新冠）的零样本预测方面效果如何？
• RQ3 在真实世界移动传感场景中，建模缺失数据和长程依赖关系在多大程度上能提升模型性能？
• RQ4 统一的深度学习框架是否能在可穿戴设备获取的小样本、长序列、多变量时间序列上超越传统模型（如XGBoost）？

主要发现

• 所提出的模型在五个流感预测任务中，相较于常见基线模型，AUC最高提升0.15，展现出显著的性能提升。
• 在小样本场景下，迁移学习使PR AUC提升16%，凸显其在数据稀缺环境中的价值。
• 在独立数据集上，该模型实现0.68的ROC AUC用于零样本新冠预测，优于XGBoost的0.51 ROC AUC，表明其具备有效的跨疾病迁移能力。
• ‘领域启发特征’自监督预训练任务表现最佳，表明融合领域知识可增强表征学习效果。
• 与朴素插补或直接排除策略相比，显式建模缺失数据模式显著提升了模型的鲁棒性和性能。
• 评估框架通过在极端类别不平衡下联合分析多个任务，有效减少了统计不确定性，并防止了对真实世界性能的高估。