[论文解读] Representations of Sound in Deep Learning of Audio Features from Music

Sergey A. Shuvaev, Hamza Giaffar+1 more|Cold Spring Harbor Laboratory Institutional Repository (Cold Spring Harbor Laboratory)|Dec 8, 2017

Music and Audio Processing参考文献 7被引用 5

一句话总结

本文利用卷积神经网络（CNN）研究音乐中音频特征的深度学习表征，旨在通过短短5秒的音频片段识别作曲家。研究发现，随机矩阵变换（RMT）和对数间距滤波器组显著提升了分类准确率，其中RMT在从31位作曲家中区分出一位作曲家时达到84%的准确率，优于基于标准频谱图的特征。

ABSTRACT

The work of a single musician, group or composer can vary widely in terms of musical style. Indeed, different stylistic elements, from performance medium and rhythm to harmony and texture, are typically exploited and developed across an artist's lifetime. Yet, there is often a discernable character to the work of, for instance, individual composers at the perceptual level - an experienced listener can often pick up on subtle clues in the music to identify the composer or performer. Here we suggest that a convolutional network may learn these subtle clues or features given an appropriate representation of the music. In this paper, we apply a deep convolutional neural network to a large audio dataset and empirically evaluate its performance on audio classification tasks. Our trained network demonstrates accurate performance on such classification tasks when presented with 5 s examples of music obtained by simple transformations of the raw audio waveform. A particularly interesting example is the spectral representation of music obtained by application of a logarithmically spaced filter bank, mirroring the early stages of auditory signal transduction in mammals. The most successful representation of music to facilitate discrimination was obtained via a random matrix transform (RMT). Networks based on logarithmic filter banks and RMT were able to correctly guess the one composer out of 31 possibilities in 68 and 84 percent of cases respectively.

研究动机与目标

• 探究不同音频表征对深度学习在音乐分类任务中性能的影响。
• 识别卷积神经网络能够检测音乐中细微风格线索的音频特征表征。
• 评估原始波形、频谱图以及RMT和对数滤波器组等高级变换在作曲家识别中的有效性。
• 确定深度网络是否能从极短的音频输入中学习到感知相关的特征。
• 评估基于听觉启发的表征在提升模型泛化能力和区分能力方面的作用。

提出的方法

• 在大规模音乐音频片段数据集上训练深度卷积神经网络（CNN）。
• 将音频转换为多种表征形式：原始波形、频谱图、对数间距滤波器组以及随机矩阵变换（RMT）。
• RMT通过将随机矩阵应用于梅尔频带滤波器组输出，以增强特征的多样性与鲁棒性。
• 网络通过5秒音频片段将音乐片段分类为31位作曲家之一。
• 通过在保留的测试集上计算top-1准确率，评估不同输入表征形式下的性能表现。
• 基于听觉启发的对数滤波器组模拟了早期哺乳动物听觉处理机制，增强了感知相关性。

实验结果

研究问题

• RQ1 哪种音频表征能实现最准确的作曲家识别？
• RQ2 卷积神经网络能否从仅5秒的音频片段中学习到细微的风格特征？
• RQ3 RMT与对数滤波器组在捕捉判别性音频特征方面与标准频谱图相比如何？
• RQ4 基于听觉启发的表征在音乐分类任务中在多大程度上提升了模型性能？
• RQ5 随机矩阵变换是否能增强音乐源分离或识别任务中的特征表征？

主要发现

• 随机矩阵变换（RMT）表征在从31位作曲家中识别出一位作曲家时达到了84%的准确率，显著优于其他表征形式。
• 对数间距滤波器组表征达到了68%的准确率，尽管设计更简单，但仍表现出色。
• RMT与对数滤波器组在作曲家识别任务中均优于标准频谱图特征。
• 深度CNN成功从极短音频输入中学习到了感知相关的特征，即使每段音频仅5秒。
• 结果表明，基于听觉启发和随机化的特征变换能增强深度音频表征学习中的判别能力。
• 本研究证实，RMT是一种高效且数据高效的改进方法，可显著提升音乐分类任务中的音频表征学习性能。