[论文解读] Using Deep Networks for Scientific Discovery in Physiological Signals

Tom Beer, Bar Eini-Porat+3 more|arXiv (Cornell University)|Aug 25, 2020

EEG and Brain-Computer Interfaces参考文献 31被引用 6

一句话总结

本文提出一种方法，通过使用希尔伯特-施密特独立性准则（HSIC）强制深度神经网络（DNNs）在不依赖人工设计特征的情况下学习，以探究其在生理信号分析中是否重新发现已知特征或发现新特征。该方法应用于心电图（ECG）和脑电图（EEG）时表明，DNNs 大体上重新发现了如 RR 间隔和 P 波等既定特征，但当已知特征被移除时，也能突出显示新出现的模式——例如 EEG 中的眼动信号特征——从而通过类激活图（CAMs）实现假设验证。

ABSTRACT

Deep neural networks (DNN) have shown remarkable success in the classification of physiological signals. In this study we propose a method for examining to what extent does a DNN's performance rely on rediscovering existing features of the signals, as opposed to discovering genuinely new features. Moreover, we offer a novel method of "removing" a hand-engineered feature from the network's hypothesis space, thus forcing it to try and learn representations which are different from known ones, as a method of scientific exploration. We then build on existing work in the field of interpretability, specifically class activation maps, to try and infer what new features the network has learned. We demonstrate this approach using ECG and EEG signals. With respect to ECG signals we show that for the specific task of classifying atrial fibrillation, DNNs are likely rediscovering known features. We also show how our method could be used to discover new features, by selectively removing some ECG features and "rediscovering" them. We further examine how could our method be used as a tool for examining scientific hypotheses. We simulate this scenario by looking into the importance of eye movements in classifying sleep from EEG. We show that our tool can successfully focus a researcher's attention by bringing to light patterns in the data that would be hidden otherwise.

研究动机与目标

• 确定用于生理信号分类的深度神经网络（DNNs）是否主要重新发现已知的人工设计特征，或发现新颖且具有科学意义的表征。
• 开发一种从 DNN 的假设空间中移除已知特征的方法，从而强制网络学习替代性、潜在的新表征。
• 利用类激活图（CAMs）解释并提取这些新学习表征中的科学洞见。
• 验证该方法在测试科学假设（如睡眠分期过程中 EEG 中存在眼动信号特征）方面的实用性。
• 评估该方法在不同生理信号和网络架构下的局限性与泛化能力。

提出的方法

• 该方法使用希尔伯特-施密特独立性准则（HSIC）惩罚与人工设计特征存在统计依赖性的特征层激活，从而强制实现统计独立性。
• 使用正则化损失训练 DNN，以最小化预测误差，同时最大化网络内部表征与预定义特征（如 RR 间隔、P 波）之间的独立性。
• 通过约束网络学习与已知特征非冗余的表征，有效从假设空间中‘移除’这些特征。
• 使用类激活图（CAMs）可视化并解释网络在预测过程中关注的信号区域，揭示新或替代性特征。
• 该方法应用于 ECG 的心房颤动检测和 EEG 的睡眠阶段分类，在受控环境中移除已知特征。
• 通过比较相关特征被移除前后 CAM 的变化，测试关于生理事件（如睡眠期间 EEG 中的眼动）的假设，从而聚焦于感兴趣的信号模式。

实验结果

研究问题

• RQ1 在 ECG 分类中，深度神经网络在多大程度上重新发现如 RR 间隔和 P 波等众所周知的人工设计特征？
• RQ2 当已知特征被显式从其假设空间中移除时，深度网络是否能在生理信号中发现新颖且具有科学意义的特征？
• RQ3 如何利用类激活图等可解释性方法，从 DNN 表征中提取并验证新的科学洞见？
• RQ4 该方法是否可用于测试和验证关于生理信号组分的科学假设，例如 EEG 中的眼动信号特征？
• RQ5 该方法在架构依赖性和特征范围方面存在哪些局限性，特别是针对全局或复杂特征？

主要发现

• 在心房颤动检测的 ECG 分类中，DNN 主要重新发现如 RR 间隔和 P 波等已知特征，当两者均被移除时性能降至接近随机水平，表明这些特征捕获了大部分判别性信号。
• 当 RR 间隔被移除时，网络的注意力显著转向 ECG 中的 P 波区域，表明在约束条件下网络仍能重新发现已知特征。
• 当测试其存在性假设时，该方法成功突出了 EEG 信号中的眼动信号特征，证实了该方法在验证科学假设方面的有效性。
• 基于 HSIC 的正则化有效实现了网络内部表征与预定义特征之间的统计独立性，证实了该方法在约束假设空间方面的能力。
• 当已知特征被移除时，类激活图揭示了清晰且可解释的信号模式，使研究人员能够聚焦于此前隐藏或未被充分重视的信号成分。
• 该方法受限于在最终层之前使用全局平均池化的卷积神经网络（CNN）架构，限制了其在特定网络设计中的适用性。