[论文解读] Transformer based unsupervised pre-training for acoustic representation learning

Ruixiong Zhang, Haiwei Wu+4 more|arXiv (Cornell University)|Jul 29, 2020

Music and Audio Processing参考文献 24被引用 7

一句话总结

该论文提出了一种基于Transformer的无监督预训练方法，通过掩码15%的音频特征块并利用左右上下文进行重建，学习通用且鲁棒的声学表征。在多样化数据集（Librispeech、MuST-C、ESC-US）上进行预训练，显著提升了语音情感识别、声音事件检测和语音翻译任务的性能，准确率提升4.3% UAR，F1分数提升1.5–2.1%，BLEU得分相对提升12.2%和8.4%。

ABSTRACT

Recently, a variety of acoustic tasks and related applications arised. For many acoustic tasks, the labeled data size may be limited. To handle this problem, we propose an unsupervised pre-training method using Transformer based encoder to learn a general and robust high-level representation for all acoustic tasks. Experiments have been conducted on three kinds of acoustic tasks: speech emotion recognition, sound event detection and speech translation. All the experiments have shown that pre-training using its own training data can significantly improve the performance. With a larger pre-training data combining MuST-C, Librispeech and ESC-US datasets, for speech emotion recognition, the UAR can further improve absolutely 4.3% on IEMOCAP dataset. For sound event detection, the F1 score can further improve absolutely 1.5% on DCASE2018 task5 development set and 2.1% on evaluation set. For speech translation, the BLEU score can further improve relatively 12.2% on En-De dataset and 8.4% on En-Fr dataset.

研究动机与目标

• 为解决声学任务中标签数据有限的问题，通过无监督预训练学习通用且鲁棒的表征。
• 探究是否可通过从多样化音频数据中学习单一统一表征，提升多个声学任务的性能。
• 开发一种简单但高效的预训练方案，避免依赖转录数据，提升工业应用的广泛性。
• 证明在Transformer编码器中采用掩码重建的自监督预训练方法，在下游任务上优于或匹配监督基线模型。

提出的方法

• 使用掩码自编码目标对基于Transformer的编码器进行预训练，其中15%的音频特征块（每块包含N帧）被置零掩码。
• 模型仅利用未掩码的左右上下文特征，通过帧级预测的L1损失学习重建被掩码的块。
• 掩码机制通过掩码整个N帧块而非单个帧，考虑了编码器中CNN模块的下采样效应。
• 预训练完成后，添加特定任务的解码器，并对完整模型进行端到端微调，用于语音情感识别、声音事件检测和语音翻译等下游任务。
• 预训练数据结合了Librispeech、MuST-C和ESC-US数据集，以增强在语音与非语音音频上的表征泛化能力。
• 该方法采用标准Transformer架构，包含多头自注意力和前馈层，使用Adam优化器和学习率调度进行训练。

Fig. 1 : training structure and procedure: (a) The structure of Transformer based encoder. (b) Pre-training: it is trained to predict the masked acoustic feature using L1 loss. (c) Fine-tuning: the pre-trained transformer encoder is fine-tuned with an additional decoder layer to adapt to the specifi

实验结果

研究问题

• RQ1 通过无监督预训练学习的单一统一声学表征，是否能提升多样声学任务的性能？
• RQ2 在语音与环境声音数据组合上进行预训练，对语音情感识别、声音事件检测和语音翻译任务的下游性能有何影响？
• RQ3 在端到端语音翻译任务中，掩码重建的无监督预训练在多大程度上能优于或匹配监督预训练方法？
• RQ4 与CPC或APC等现有自监督方法相比，该方法在非语音音频任务中是否具有更好的泛化能力？

主要发现

• 在IEMOCAP数据集上，使用OpenAudio数据预训练使未加权准确率（UAR）相比基础Transformer提升了4.3个百分点。
• 在DCASE2018 Task5声音事件检测任务中，开发集F1分数提升1.5%，测试集提升2.1%，采用OpenAudio预训练后性能显著改善。
• 在MuST-C En-De语音翻译任务中，BLEU得分相比基础Transformer相对提升12.2%；在En-Fr任务中相对提升8.4%。
• 即使未使用任何标注转录本，预训练模型性能仍可媲美或超越依赖ASR预训练的最先进系统。
• 在声音事件检测任务中，该方法优于多个强基线模型，包括使用手工特征和数据增强的系统。
• 结果表明，基于Transformer编码器的掩码重建自监督预训练可生成通用且鲁棒的表征，适用于多种声学任务的迁移。