[论文解读] Unsupervised Feature Learning for Audio Analysis

Matthias Meyer, Jan Beutel+1 more|arXiv (Cornell University)|Dec 11, 2017

Music and Audio Processing参考文献 9被引用 9

一句话总结

该论文提出了一种基于卷积LSTM的音频帧预测器（AFP）的无监督音频特征学习方法，结合一种新颖的成对损失函数，通过增强相似音频事件之间的相似性以及不同事件之间的差异性，提升了特征的区分度。该方法在无标签音频上进行训练，相比标准自编码器训练，下游分类性能提升13%，聚类性能提升36%。

ABSTRACT

Identifying acoustic events from a continuously streaming audio source is of interest for many applications including environmental monitoring for basic research. In this scenario neither different event classes are known nor what distinguishes one class from another. Therefore, an unsupervised feature learning method for exploration of audio data is presented in this paper. It incorporates the two following novel contributions: First, an audio frame predictor based on a Convolutional LSTM autoencoder is demonstrated, which is used for unsupervised feature extraction. Second, a training method for autoencoders is presented, which leads to distinct features by amplifying event similarities. In comparison to standard approaches, the features extracted from the audio frame predictor trained with the novel approach show 13 % better results when used with a classifier and 36 % better results when used for clustering.

研究动机与目标

• 解决在事件类别未知且无标注数据的环境中进行声学事件检测的挑战。
• 开发一种无监督特征学习方法，从原始音频流中提取有意义且具有区分度的表示。
• 通过训练自编码器来强调样本间的相似性与差异性，从而提升特征区分度，且无需弱标签或强标签。
• 通过下游分类与聚类任务，在真实世界音频数据集上验证所提方法的有效性。

提出的方法

• 使用基于卷积LSTM的音频帧预测器（AFP）从三个连续输入帧中重建下一个梅尔频谱图帧。
• 通过逐通道平均池化将编码器的特征压缩为128维特征向量，用于计算每个样本的特征分布。
• 应用一种基于Kullback-Leibler（KL）散度的新型成对损失函数，根据样本在小批量内的相对相似性惩罚其差异性。
• 损失函数使用截断KL散度以限制相似事件的特征分布，并采用基于边距的损失将不同事件彼此推开，从而促进特征聚类。
• AFP采用两阶段训练：首先仅使用均方误差（MSE）进行帧重建训练，然后联合使用成对损失与MSE以优化特征表示。
• 最终的特征表示通过简单的全连接分类器和使用匈牙利算法分配的k-means聚类进行评估。

实验结果

研究问题

• RQ1 基于卷积LSTM架构的无监督自编码器是否能在无任何标注数据的情况下学习到具有区分度的音频特征？
• RQ2 在无标签条件下，引入基于特征分布之间KL散度的成对损失是否能提升特征的区分度？
• RQ3 与标准自编码器训练相比，所提出的训练方法在多大程度上提升了下游分类与聚类性能？
• RQ4 所学特征分布与标准训练相比，在视觉和定量上存在哪些差异？

主要发现

• 与标准自编码器训练相比，所提方法使测试分类准确率提升了13%，达到78.94%（使用PairLoss）对比69.59%（不使用PairLoss）。
• 该方法使测试集上的聚类准确率提升了36%，达到52.23%（使用PairLoss）对比38.32%（不使用PairLoss）。
• t-SNE可视化显示，与标准训练相比，PairLoss方法在不同事件类别（如吉他和直升机）上产生了更清晰、更易分离的特征分布。
• 使用PairLoss学习到的特征分布更加集中且重叠更少，表明仅少数码本通道承载了具有区分度的事件信息。
• 两阶段训练流程——先仅使用MSE，再联合使用MSE与成对损失——带来了更好的泛化能力和更紧凑的特征表示。
• 尽管未使用任何标签，该方法仍优于标准无监督训练，证明了成对损失在构建有意义表示方面的有效性。