[论文解读] Multi-task Generative Adversarial Learning on Geometrical Shape Reconstruction from EEG Brain Signals

Xiang Zhang, Xiaocong Chen+4 more|arXiv (Cornell University)|Jan 1, 2019

Cell Image Analysis Techniques参考文献 14被引用 6

一句话总结

本论文提出了一种用于从EEG脑电信号重建几何形状的多任务生成对抗网络（GAN），采用卷积神经网络（CNN）提取潜在表征，并通过引入语义对齐的多任务判别器来提升生成结果的真实感。该模型在自建EEG数据集上优于当前最先进方法，取得了2.178的inception分数和0.83的inception准确率。

ABSTRACT

Synthesizing geometrical shapes from human brain activities is an interesting and meaningful but very challenging topic. Recently, the advancements of deep generative models like Generative Adversarial Networks (GANs) have supported the object generation from neurological signals. However, the Electroencephalograph (EEG)-based shape generation still suffer from the low realism problem. In particular, the generated geometrical shapes lack clear edges and fail to contain necessary details. In light of this, we propose a novel multi-task generative adversarial network to convert the individual's EEG signals evoked by geometrical shapes to the original geometry. First, we adopt a Convolutional Neural Network (CNN) to learn highly informative latent representation for the raw EEG signals, which is vital for the subsequent shape reconstruction. Next, we build the discriminator based on multi-task learning to distinguish and classify fake samples simultaneously, where the mutual promotion between different tasks improves the quality of the recovered shapes. Then, we propose a semantic alignment constraint in order to force the synthesized samples to approach the real ones in pixel-level, thus producing more compelling shapes. The proposed approach is evaluated over a local dataset and the results show that our model outperforms the competitive state-of-the-art baselines.

研究动机与目标

• 为解决基于EEG的几何形状重建中生成形状模糊且缺乏细节的问题，提升其真实感。
• 开发一种深度生成模型，能够准确地从EEG信号解码出对应的几何形状。
• 通过生成形状与真实形状之间的语义对齐，提升形状的保真度。
• 在新采集的本地EEG数据集上评估模型，该数据集包含多样化的几何刺激。
• 在定性和定量指标上均证明所提方法优于现有基于GAN的基线模型。

提出的方法

• 使用卷积神经网络（CNN）从原始EEG信号中学习判别性潜在表征。
• 设计一个多任务判别器，同时区分真实与生成样本，并将形状分类到正确的几何类别。
• 引入语义对齐约束，以最小化生成形状与真实形状之间的像素级差异，从而增强真实感。
• 通过对抗性训练使生成器在多任务判别器的监督下生成高保真度的几何形状。
• 通过类别特定分类器引入条件监督，以提升形状的一致性。
• 在参与者观看几何形状时采集的自建EEG数据集上端到端训练该模型。

实验结果

研究问题

• RQ1 EEG信号能否激发与特定几何形状相对应的判别性神经模式？
• RQ2 判别器中的多任务学习在多大程度上能提升从EEG生成的几何形状的真实感与准确性？
• RQ3 语义对齐在多大程度上能提升重建形状的像素级保真度？
• RQ4 所提模型在从EEG信号重建几何形状方面，与当前最先进GAN相比表现如何？
• RQ5 该模型能否泛化到训练数据中未出现过的未见几何形状？

主要发现

• 所提模型取得了2.178的inception分数和0.83的inception准确率，优于所有竞争基线方法。
• 定性结果表明，与GAN、CGAN和ACGAN相比，所提方法生成的形状边缘更清晰，细节更逼真。
• 语义对齐组件显著减少了生成形状与真实形状之间的像素级差异，提升了视觉保真度。
• 多任务判别器通过同时提升生成质量与分类准确率，增强了形状重建效果。
• 该模型成功重建了全部五种几何形状（圆形、三角形、矩形、菱形、五角星），与真实形状高度相似。
• 基于CNN的EEG表征学习在该任务中，无论效率还是表征质量方面，均优于基于RNN的方法。