[论文解读] Unsupervised Learning of Audio Segment Representations using Sequence-to-sequence Recurrent Neural Networks

Yu-An Chung, Chao-Chung Wu+2 more|arXiv (Cornell University)|Mar 3, 2016

Music and Audio Processing参考文献 24被引用 33

一句话总结

本文提出 Audio Word2Vec，一种无监督方法，通过使用LSTM单元的序列到序列自编码器，为可变长度音频片段学习固定维向量表示。通过联合训练编码器和解码器以最小化重建误差，该模型捕捉了序列语音结构，在基于示例的语音术语检测任务中性能优于动态时间规整（DTW），且计算成本显著降低。

ABSTRACT

The vector representations of fixed dimensionality for words (in text) offered by Word2Vec have been shown to be very useful in many application scenarios, in particular due to the semantic information they carry. This paper proposes a parallel version, the Audio Word2Vec. It offers the vector representations of fixed dimensionality for variable-length audio segments. These vector representations are shown to describe the sequential phonetic structures of the audio segments to a good degree, with very attractive real world applications such as query-by-example Spoken Term Detection (STD). In this STD application, the proposed approach significantly outperformed the conventional Dynamic Time Warping (DTW) based approaches at significantly lower computation requirements. We propose unsupervised learning of Audio Word2Vec from audio data without human annotation using Sequence-to-sequence Audoencoder (SA). SA consists of two RNNs equipped with Long Short-Term Memory (LSTM) units: the first RNN (encoder) maps the input audio sequence into a vector representation of fixed dimensionality, and the second RNN (decoder) maps the representation back to the input audio sequence. The two RNNs are jointly trained by minimizing the reconstruction error. Denoising Sequence-to-sequence Autoencoder (DSA) is furthered proposed offering more robust learning.

研究动机与目标

• 开发一种无监督方法，用于学习可变长度音频片段的固定维向量表示。
• 在无需人工标注的情况下，实现音频中的语义和语音表示学习。
• 在基于示例的语音术语检测（STD）任务中，性能优于传统的动态时间规整（DTW）方法。
• 通过学习到的音频嵌入，降低音频检索任务中的计算需求。

提出的方法

• 使用序列到序列自编码器（SA），由编码器和解码器组成，两者均采用长短期记忆（LSTM）单元实现。
• 编码器将输入音频序列映射为固定维向量表示。
• 解码器从学习到的向量表示中重建原始音频序列。
• 通过最小化输入序列与输出序列之间的重建误差，实现端到端训练。
• 引入去噪变体——去噪序列到序列自编码器（DSA），通过在训练中破坏输入序列来提高模型鲁棒性。
• 学习到的音频嵌入捕捉了序列语音结构，从而有效支持下游音频检索任务。

实验结果

研究问题

• RQ1 是否可以在无需人工标注的情况下，有效实现音频片段表示的无监督学习？
• RQ2 使用LSTM的序列到序列自编码器在可变长度音频片段中，能否有效捕捉语音和序列结构？
• RQ3 学习到的音频嵌入是否能在基于示例的语音术语检测中超越传统的基于DTW的方法？
• RQ4 所提出的方法是否在保持或提升检索准确率的同时，降低了计算成本？

主要发现

• 所提出的 Audio Word2Vec 方法在基于示例的语音术语检测任务中，显著优于传统的动态时间规整（DTW）方法。
• 该方法在实现更高检索准确率的同时，计算需求远低于基于DTW的系统。
• 使用LSTM的序列到序列自编码器成功学习到了可变长度音频片段的有意义且固定维的表示。
• 去噪变体（DSA）提升了模型鲁棒性，表明在噪声或损坏输入条件下具有更强的泛化能力。
• 学习到的音频嵌入有效捕捉了序列语音结构，支持语义和语音相似性建模。
• 无监督训练范式成功提取了有用的音频表示，而无需依赖人工转录文本。