[论文解读] Sparse learned kernels for interpretable and efficient medical time series processing

Sully F. Chen, Zhicheng Guo+3 more|arXiv (Cornell University)|Jul 6, 2023

Time Series Analysis and ForecastingComputer Science被引用 3

一句话总结

该论文提出一种基于学习核函数的稀疏可解释神经网络，用于高效且准确的医疗时间序列处理。通过学习轻量级、灵活的卷积核，并应用参数压缩技术如权重重分布和相关核剪枝，该方法在仅使用先前SotA模型2%参数量的情况下，实现了光电容积脉搏波图（PPG）伪影检测的最先进性能，从而可在低功耗可穿戴设备上部署，同时保持可解释性和鲁棒性。

ABSTRACT

Rapid, reliable, and accurate interpretation of medical time-series signals is crucial for high-stakes clinical decision-making. Deep learning methods offered unprecedented performance in medical signal processing but at a cost: they were compute-intensive and lacked interpretability. We propose Sparse Mixture of Learned Kernels (SMoLK), an interpretable architecture for medical time series processing. SMoLK learns a set of lightweight flexible kernels that form a single-layer sparse neural network, providing not only interpretability, but also efficiency, robustness, and generalization to unseen data distributions. We introduce a parameter reduction techniques to reduce the size of SMoLK's networks while maintaining performance. We test SMoLK on two important tasks common to many consumer wearables: photoplethysmography (PPG) artifact detection and atrial fibrillation detection from single-lead electrocardiograms (ECGs). We find that SMoLK matches the performance of models orders of magnitude larger. It is particularly suited for real-time applications using low-power devices, and its interpretability benefits high-stakes situations.

研究动机与目标

• 解决深度学习模型在医疗时间序列处理中可解释性差和计算成本高的问题。
• 开发一种轻量化、可解释的网络架构，在PPG伪影检测任务上保持最先进性能。
• 通过大幅减少模型大小和计算需求，实现模型在低功耗可穿戴设备上的部署。
• 提出新颖的参数压缩技术，以最小化模型大小而不损失性能。
• 展示模型在分布外数据上的泛化能力，证明其在标准测试集之外也具备鲁棒性。

提出的方法

• 提出一种单层神经网络架构，通过学习一组轻量级、灵活的卷积核，用于时间序列特征提取。
• 应用权重重分布技术，将核权重因子合并到核本身，减少参数数量并简化推理过程。
• 实施相关核剪枝技术，基于核之间的相似性去除冗余核，进一步减小模型规模。
• 在核函数求和后使用上限激活函数，生成信号质量评分，从而实现可解释性和线性特性。
• 利用模型的近似线性特性，实现权重的朴素量化至float16，且性能无任何下降。
• 设计架构以实现最小内存和计算资源占用，目标为在可穿戴设备的微控制器上部署。

实验结果

研究问题

• RQ1 基于学习核函数的稀疏单层神经网络能否在医疗时间序列处理中实现与深度神经网络相当的性能？
• RQ2 权重重分布和相关核剪枝等参数压缩技术在不损失性能的前提下，能在多大程度上减小模型规模？
• RQ3 该模型能否在如TROIKA数据集这类分布外数据上保持高性能，体现其在挑战性场景下的泛化能力？
• RQ4 该模型是否足够高效且可解释，适合在低功耗可穿戴设备上部署？
• RQ5 由于其内在的线性和简洁性，该模型是否可实现无性能损失的量化？

主要发现

• 所提方法在PPG伪影检测任务上性能超过SotA深度神经网络的99%，参数量仅为Segade模型的2%，约为Tiny-PPG的一半。
• 在最具分布外特性的测试集（TROIKA）上，该模型优于当前SotA方法，展现出更优的泛化能力。
• 最大模型在转换为float16后内存占用不足100 KB，剪枝后可缩减至75 KB以下，最小模型仅使用3 KB以下内存。
• 计算原始信号质量评分仅需约10 MFlops/秒，使其在微控制器上实现实时处理极具效率。
• 由于模型本身具有线性和简洁性，可实现无性能损失的朴素float16量化，而深度神经网络通常在量化后性能会下降。
• 核重要性分析表明，大尺寸核主要检测低质量信号特征，而小尺寸和中等尺寸核则捕捉正常PPG特征。