[论文解读] Multimodal deep learning approach for joint EEG-EMG data compression and classification

Ahmed Ben Said, Amr Mohamed+3 more|arXiv (Cornell University)|Mar 27, 2017

EEG and Brain-Computer Interfaces参考文献 14被引用 8

一句话总结

该论文提出了一种多模态深度自编码器，通过利用模态间和模态内相关性，联合压缩和分类脑电图（EEG）和肌电图（EMG）信号。该模型在压缩效率方面表现优越，情感标签分类准确率达到78.1%，优于单模态方法和传统压缩技术。

ABSTRACT

In this paper, we present a joint compression and classification approach of EEG and EMG signals using a deep learning approach. Specifically, we build our system based on the deep autoencoder architecture which is designed not only to extract discriminant features in the multimodal data representation but also to reconstruct the data from the latent representation using encoder-decoder layers. Since autoencoder can be seen as a compression approach, we extend it to handle multimodal data at the encoder layer, reconstructed and retrieved at the decoder layer. We show through experimental results, that exploiting both multimodal data intercorellation and intracorellation 1) Significantly reduces signal distortion particularly for high compression levels 2) Achieves better accuracy in classifying EEG and EMG signals recorded and labeled according to the sentiments of the volunteer.

研究动机与目标

• 通过联合压缩和分类多模态生理信号，解决移动健康（mHealth）系统中高效数据传输的挑战。
• 利用EEG与EMG信号之间的模态间相关性，提高压缩效率并减少信号失真。
• 通过学习EEG与EMG模态之间的共享表征，提升对情感状态（主导性与唤醒度）的分类准确率。
• 证明深度自编码器可作为统一框架，在多模态生物医学数据中实现压缩与特征学习。
• 提供一种可扩展、灵活的架构，未来可集成更多生理模态用于mHealth应用。

提出的方法

• 设计一种堆叠自编码器架构，为EEG和EMG分别设置独立编码器，以建模模态内相关性。
• 在各模态编码器之上引入一个联合编码层，以捕捉模态间相关性。
• 使用共享解码器，从联合潜在表征中重建EEG和EMG信号。
• 端到端训练网络，以最小化重建误差（MSE），同时保留分类所需的判别性特征。
• 在联合潜在表征上添加Softmax分类器，实现对主导性和唤醒度的二分类。
• 使用反向传播和随机梯度下降进行模型优化，并通过数据划分实现训练与测试。

实验结果

研究问题

• RQ1 能否通过多模态深度自编码器架构有效实现EEG与EMG信号的联合压缩与分类？
• RQ2 利用模态间与模态内相关性对信号重建质量与压缩效率有何影响？
• RQ3 与单模态深度学习模型相比，多模态方法是否能提升对情感状态的分类准确率？
• RQ4 训练数据量如何影响压缩与分类流水线的性能？
• RQ5 所提出的架构能否在未来mHealth系统中扩展以包含更多生理模态？

主要发现

• 所提出的多模态自编码器在主导性标签分类任务中达到78.1%的准确率，显著优于单模态SAE和DBM基线模型。
• 在唤醒度分类任务中，多模态方法达到65.9%的准确率，表现出优于单模态模型的性能。
• 在高比率压缩（如90%）下，EEG失真为0.92%，EMG失真为0.78%，表明信号退化程度较低。
• 增加训练数据量可降低重建失真，证实数据量与模型性能之间存在正相关关系。
• 在高压缩水平下，该模型在重建质量方面优于传统压缩方法（如DWT和压缩感知）。
• 对模态间与模态内相关性的联合建模显著降低了信号失真，尤其在高压缩条件下表现更优。