[论文解读] Towards Explainable Music Emotion Recognition: The Route via Mid-level Features

Shreyan Chowdhury, Andreu Vall+2 more|arXiv (Cornell University)|Jul 8, 2019

Music and Audio Processing被引用 13

一句话总结

本文提出一种VGG风格的深度神经网络，通过中层感知特征（如节奏复杂度和和声特性）预测音乐情绪，以增强模型的可解释性。尽管预测性能略有下降，但该模型通过将情绪预测直接关联到人类可理解的音乐特质，实现了高度可解释性，表明‘可解释性成本’出人意料地低。

ABSTRACT

Emotional aspects play an important part in our interaction with music. However, modelling these aspects in MIR systems have been notoriously challenging since emotion is an inherently abstract and subjective experience, thus making it difficult to quantify or predict in the first place, and to make sense of the predictions in the next. In an attempt to create a model that can give a musically meaningful and intuitive explanation for its predictions, we propose a VGG-style deep neural network that learns to predict emotional characteristics of a musical piece together with (and based on) human-interpretable, mid-level perceptual features. We compare this to predicting emotion directly with an identical network that does not take into account the mid-level features and observe that the loss in predictive performance of going through the mid-level features is surprisingly low, on average. The design of our network allows us to visualize the effects of perceptual features on individual emotion predictions, and we argue that the small loss in performance in going through the mid-level features is justified by the gain in explainability of the predictions.

研究动机与目标

• 为解决音乐情绪识别（MER）模型可解释性不足的问题，通过引入具有音乐意义的中层特征。
• 量化使用中层特征作为情绪预测中介所带来的性能损失——即所谓的‘可解释性成本’。
• 实现基于感知直观音乐特质（如‘紧张感’或‘演奏法’）的模型解释，而非抽象的神经激活。
• 通过联合训练中层特征与情绪标签，提升整体预测性能。
• 为音乐推荐与搜索系统提供一个框架，可生成人类可读的情绪预测解释。

提出的方法

• 使用Soundtracks数据集的真实标注，训练一个VGG风格的深度神经网络，直接从音频预测中层感知特征。
• 采用第二种网络架构，从预测的中层特征而非原始音频预测情绪，从而实现可解释性。
• 模型使用单个全连接层将中层特征映射到情绪评分，便于直接分析各特征对每种情绪的贡献。
• 通过比较从音频直接预测情绪与通过中层特征间接预测情绪的性能，评估损失，以预测准确率的差异作为衡量标准。
• 对中层特征与情绪标签进行联合训练，以提升泛化能力与预测性能。
• 通过箱线图与显著性分析可视化特征影响，展示每个中层特征如何影响特定情绪的预测。

实验结果

研究问题

• RQ1 使用中层感知特征作为音乐情绪预测中介时，性能损失有多大？
• RQ2 基于中层特征训练的深度学习模型，是否能比端到端模型提供更具可解释性与音乐意义的情绪预测解释？
• RQ3 对中层特征与情绪标签进行联合训练，如何影响音乐情绪识别的整体预测性能？
• RQ4 中层特征（如‘紧张感’或‘演奏法’）在多大程度上可与特定情绪维度（如‘恐惧’或‘活力’）建立关联？
• RQ5 该模型能否生成与人类对音乐特质感知一致的歌曲级解释？

主要发现

• 使用中层特征作为情绪预测中介所导致的性能损失出人意料地低，平均而言，验证了‘可解释性成本’确实微不足道。
• 该模型通过直接可视化各中层特征如何贡献于个体情绪预测，实现了高度可解释性，例如将‘演奏法’与‘高活力’或‘紧张感’关联。
• 对于歌曲#322，模型将高‘紧张感’主要归因于‘小调性’与‘演奏法’，而‘节奏稳定性’则起到抵消作用，展现出细致且基于感知的解释。
• 与仅训练单一任务相比，对中层特征与情绪标签进行联合训练可进一步提升预测性能。
• 模型的解释与人类感知一致，如歌曲#153与#322的示例所示，预测的情绪轮廓与标注的情感特质相符。
• 在第二个数据集（MIREX类情绪数据集）上的初步结果确认了在Soundtracks数据集中观察到的一般趋势，支持该方法的稳健性。