[论文解读] Multi-view Recurrent Neural Acoustic Word Embeddings

Wanjia He, Weiran Wang+1 more|arXiv (Cornell University)|Nov 14, 2016

Speech Recognition and Synthesis被引用 33

一句话总结

本文提出一种多视角循环神经网络框架，通过双向LSTM和对比损失联合学习语音和拼写词嵌入。通过在配对的音频和字符序列上进行训练，该模型提升了词辨识性能，并支持跨视角任务，其中代价敏感损失显示出嵌入距离与拼写编辑距离之间更好的对齐效果。

ABSTRACT

Recent work has begun exploring neural acoustic word embeddings---fixed-dimensional vector representations of arbitrary-length speech segments corresponding to words. Such embeddings are applicable to speech retrieval and recognition tasks, where reasoning about whole words may make it possible to avoid ambiguous sub-word representations. The main idea is to map acoustic sequences to fixed-dimensional vectors such that examples of the same word are mapped to similar vectors, while different-word examples are mapped to very different vectors. In this work we take a multi-view approach to learning acoustic word embeddings, in which we jointly learn to embed acoustic sequences and their corresponding character sequences. We use deep bidirectional LSTM embedding models and multi-view contrastive losses. We study the effect of different loss variants, including fixed-margin and cost-sensitive losses. Our acoustic word embeddings improve over previous approaches for the task of word discrimination. We also present results on other tasks that are enabled by the multi-view approach, including cross-view word discrimination and word similarity.

研究动机与目标

• 解决单视角语音词嵌入在处理未登录词时表现不佳且缺乏与拼写形式语义对齐的问题。
• 通过联合学习语音波形和对应字符序列的表示，提升语音词嵌入的质量。
• 利用共享且对齐的嵌入，支持单视角（语音或文本）和跨视角（语音到文本）任务。
• 探索不同的对比损失函数以优化嵌入空间结构，包括固定边距和代价敏感变体。
• 证明多视角方法能实现更紧密的同词嵌入聚类，并在未见词上表现出更好的泛化能力。

提出的方法

• 使用深度双向LSTM网络将语音序列（波形帧）和字符序列（拼写形式）编码为固定维度的嵌入。
• 使用多视角对比损失进行模型训练，该损失比较匹配（同词）和不匹配（不同词）样本对的嵌入。
• 实现两种损失变体：固定边距对比损失，强制不同词对之间保持最小距离；代价敏感损失，整合真实拼写编辑距离。
• 优化联合嵌入空间，使同词嵌入接近、异词嵌入远离，其中代价敏感损失促使距离反映语音/拼写相似性。
• 应用t-SNE可视化分析嵌入在学习空间中的聚类行为。
• 采用类似Siamese的架构，为两种模态共享权重，以确保跨视角表示学习的一致性。

实验结果

研究问题

• RQ1 与单视角方法相比，联合学习语音和拼写词嵌入是否能提升语音词辨识任务的性能？
• RQ2 不同的对比损失函数——固定边距与代价敏感——如何影响所学语音词嵌入的质量和结构？
• RQ3 所学的语音和文本嵌入在共享嵌入空间中的对齐程度如何？它们能否在跨视角任务中互换使用？
• RQ4 该模型对未见过的词泛化能力如何？其性能与仅在已见词上训练的模型相比如何？
• RQ5 所学嵌入距离是否能与词之间的拼写编辑距离产生有意义的相关性？

主要发现

• 与先前的单视角方法相比，多视角方法显著提升了语音词辨识性能，尤其在未登录词上表现更优。
• 代价敏感对比损失在嵌入距离与真实拼写编辑距离之间的相关性上，优于固定边距损失。
• t-SNE可视化显示，同一词的嵌入在共享空间中聚集成紧密簇，已见词和未见词均形成连贯的聚类。
• 共享相同后缀（如 -ly、-ing、-tion）的词在文本嵌入空间中形成分离良好且密集的簇，表明模型捕捉到了语义和词形结构。
• 语音和拼写嵌入高度对齐，支持直接比较，并可实现跨视角任务（如语音到文本的词检索）。
• 该模型对未见词具有良好的泛化能力，其嵌入聚类质量几乎与已见词相当，展现出对未登录输入的鲁棒性。