[论文解读] Zero-Shot Audio Classification via Semantic Embeddings

Huang Xie, Tuomas Virtanen|arXiv (Cornell University)|Nov 24, 2020

Music and Audio Processing参考文献 37被引用 4

一句话总结

本文提出了一种零样本音频分类方法，利用文本标签或句子描述的语义嵌入来对未见过的声音类别进行音频片段分类。通过使用基于VGGish的声学嵌入与语义嵌入（如Word2Vec、GloVe、BERT）之间的双线性兼容函数，该模型在ESC-50和AudioSet数据集上实现了显著的性能提升，尤其是在通过拼接多个语言模型输出来组合语义嵌入时效果更佳。

ABSTRACT

In this paper, we study zero-shot learning in audio classification via semantic embeddings extracted from textual labels and sentence descriptions of sound classes. Our goal is to obtain a classifier that is capable of recognizing audio instances of sound classes that have no available training samples, but only semantic side information. We employ a bilinear compatibility framework to learn an acoustic-semantic projection between intermediate-level representations of audio instances and sound classes, i.e., acoustic embeddings and semantic embeddings. We use VGGish to extract deep acoustic embeddings from audio clips, and pre-trained language models (Word2Vec, GloVe, BERT) to generate either label embeddings from textual labels or sentence embeddings from sentence descriptions of sound classes. Audio classification is performed by a linear compatibility function that measures how compatible an acoustic embedding and a semantic embedding are. We evaluate the proposed method on a small balanced dataset ESC-50 and a large-scale unbalanced audio subset of AudioSet. The experimental results show that classification performance is significantly improved by involving sound classes that are semantically close to the test classes in training. Meanwhile, we demonstrate that both label embeddings and sentence embeddings are useful for zero-shot learning. Classification performance is improved by concatenating label/sentence embeddings generated with different language models. With their hybrid concatenations, the results are improved further.

研究动机与目标

• 在不使用任何训练样本的情况下，仅利用语义辅助信息实现对声音类别的音频分类。
• 探究标签嵌入和句子嵌入在零样本音频分类中的有效性。
• 通过组合多个预训练语言模型的语义嵌入来提升分类性能。
• 在小型平衡数据集（ESC-50）和大型非平衡数据集（AudioSet）上评估该方法。
• 探索不同嵌入融合策略对零样本学习性能的影响。

提出的方法

• 使用VGGish从音频片段中提取深度声学嵌入。
• 利用预训练的语言模型（Word2Vec、GloVe、BERT）从声音类别的文本标签或句子描述中生成语义嵌入。
• 采用双线性兼容函数来衡量声学嵌入与语义嵌入之间的兼容性以实现分类。
• 将来自不同语言模型的标签/句子嵌入拼接，形成混合语义表示。
• 使用声学嵌入与语义嵌入之间的兼容分数训练线性分类器。
• 应用McNemar检验来评估不同嵌入组合之间性能差异的统计显著性。

实验结果

研究问题

• RQ1 能否从文本标签或句子描述中提取的语义嵌入有效实现零样本音频分类？
• RQ2 当使用标签嵌入与句子嵌入时，零样本音频分类的性能有何差异？
• RQ3 将多个语言模型的语义嵌入拼接是否能提升分类性能？
• RQ4 语言模型的选择（如Word2Vec、GloVe、BERT）如何影响语义表示的质量？
• RQ5 嵌入融合策略（如标签与句子嵌入的混合拼接）对分类准确率有何影响？

主要发现

• 当训练集包含与测试集类别语义相似的声音类别时，ESC-50上的分类性能显著提升。
• 标签嵌入和句子嵌入在零样本音频分类中均有效，且在某些设置下句子嵌入表现更优。
• 将多个语言模型（如Word2Vec、GloVe、BERT）的嵌入拼接后，相比单一模型，分类准确率有所提高。
• 标签与句子嵌入的混合拼接（如WLE+BSE、GLE+BSE）表现最佳，在AudioSet上的Top-1准确率达到48.5%。
• 统计显著性检验（McNemar检验，p = 5.41e-13）证实，WLE+GLE+BSE相比GLE+BSE的性能提升具有高度显著性。
• 该方法在大规模、非平衡数据集（如AudioSet）上表现出强大的泛化能力，表明其在小规模基准之外也具备可扩展性。