[论文解读] Towards Deep Modeling of Music Semantics using EEG Regularizers

Francisco Raposo, David Martins de Matos+3 more|arXiv (Cornell University)|Dec 14, 2017

Music and Audio Processing参考文献 24被引用 3

一句话总结

本文提出了一种新颖的端到端深度神经网络，通过深度典型相关分析（DCCA）联合建模音乐音频与脑电信号（EEG），以学习共享的语义嵌入空间。通过利用脑电波数据作为感知正则化器，该模型在音频-歌词跨模态检索任务中实现了最先进（SOTA）性能，其表现优于Spotify特征，并与在700倍以上数据上训练的SOTA模型相当，仅使用了2.5小时的音频-EEG数据。

ABSTRACT

Modeling of music audio semantics has been previously tackled through learning of mappings from audio data to high-level tags or latent unsupervised spaces. The resulting semantic spaces are theoretically limited, either because the chosen high-level tags do not cover all of music semantics or because audio data itself is not enough to determine music semantics. In this paper, we propose a generic framework for semantics modeling that focuses on the perception of the listener, through EEG data, in addition to audio data. We implement this framework using a novel end-to-end 2-view Neural Network (NN) architecture and a Deep Canonical Correlation Analysis (DCCA) loss function that forces the semantic embedding spaces of both views to be maximally correlated. We also detail how the EEG dataset was collected and use it to train our proposed model. We evaluate the learned semantic space in a transfer learning context, by using it as an audio feature extractor in an independent dataset and proxy task: music audio-lyrics cross-modal retrieval. We show that our embedding model outperforms Spotify features and performs comparably to a state-of-the-art embedding model that was trained on 700 times more data. We further discuss improvements to the model that are likely to improve its performance.

研究动机与目标

• 为解决仅音频模型在捕捉主观音乐语义方面的局限性，通过引入感知的神经相关物来改进模型。
• 开发一种通用框架，将EEG数据作为正则化器，以提升音乐表征学习中语义嵌入的质量。
• 在迁移学习设置下评估EEG正则化嵌入在跨模态检索任务中的有效性。
• 证明基于感知的嵌入可与在远超规模的音频-only数据集上训练的模型性能相当或更优。

提出的方法

• 设计一种双流神经网络架构，以端到端方式处理1.5秒对齐的音频与EEG输入。
• 采用深度典型相关分析（DCCA）作为损失函数，以最大化音频与EEG嵌入空间之间的相关性。
• 将每段音频-EEG录音分割为1.5秒的片段用于训练，歌曲级嵌入通过平均片段级输出获得。
• 采用5折交叉验证设置，每折训练20个周期，训练数据为从人类听者收集的2.5小时音频-EEG数据。
• 将训练好的模型作为特征提取器应用于代理任务：音频-歌词跨模态检索。
• 与Spotify的手工特征以及在2083+小时音频上训练的SOTA模型（Choi et al.）进行性能比较。

实验结果

研究问题

• RQ1 EEG信号能否作为有效正则化器，使音乐语义的深度学习模型在仅依赖音频的基础上进一步提升性能？
• RQ2 基于DCCA的音频与EEG联合嵌入空间是否能产生优于仅音频模型的可迁移表征？
• RQ3 在极少量音频-EEG数据（少于3小时）上训练的模型，能否超越在700倍以上数据上训练的SOTA模型？
• RQ4 引入感知性脑电信号如何影响音乐语义嵌入的质量与泛化能力？

主要发现

• 所提出的EEG正则化模型在音频-歌词检索任务中实现了24.6%的基于实例的均 reciprocical rank（MRR），优于Spotify的23.4%。
• 该模型在基于类别的MRR达到36.2%，超过Spotify的35.1%，并匹配SOTA模型（Choi）的36.5%。
• 尽管仅在不到3小时的音频-EEG数据上进行训练，其性能仍可与在2083+小时音频上训练的模型相媲美。
• 该模型在单张GPU上训练时间约为20分钟，展现出极高的训练效率。
• 定性优势包括音频与EEG之间更精细的时间对齐，以及避免了固定语义分类体系的限制。
• 未来改进如残差连接、LSTM用于嵌入聚合，以及个性化受试者建模，有望进一步提升性能。