[论文解读] Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection

Yu‐Hsuan Wang, Hung-yi Lee+1 more|arXiv (Cornell University)|Aug 7, 2018

Speech Recognition and Synthesis参考文献 15被引用 6

一句话总结

本文提出了一种分段音频Word2Vec方法，采用一种结合强化学习的分段序列到序列自编码器（SSAE）联合无监督学习框架，同时实现语音词分割与音频嵌入学习。该方法在英语、捷克语、法语和德语的语音词检测任务中，优于基于帧的DTW和基线分割方法，表明所学习的嵌入能够携带有意义的语音结构信息。

ABSTRACT

While Word2Vec represents words (in text) as vectors carrying semantic information, audio Word2Vec was shown to be able to represent signal segments of spoken words as vectors carrying phonetic structure information. Audio Word2Vec can be trained in an unsupervised way from an unlabeled corpus, except the word boundaries are needed. In this paper, we extend audio Word2Vec from word-level to utterance-level by proposing a new segmental audio Word2Vec, in which unsupervised spoken word boundary segmentation and audio Word2Vec are jointly learned and mutually enhanced, so an utterance can be directly represented as a sequence of vectors carrying phonetic structure information. This is achieved by a segmental sequence-to-sequence autoencoder (SSAE), in which a segmentation gate trained with reinforcement learning is inserted in the encoder. Experiments on English, Czech, French and German show very good performance in both unsupervised spoken word segmentation and spoken term detection applications (significantly better than frame-based DTW).

研究动机与目标

• 为解决音频Word2Vec依赖预分割词边界的问题，实现端到端无监督的词分割与嵌入学习联合优化。
• 通过将整个话语建模为固定维向量序列，将音频Word2Vec从词级扩展到话语级表示。
• 通过联合优化词分割与表征学习，使嵌入能够捕捉语音结构信息，从而提升语音词检测性能。
• 通过使用策略梯度强化学习，克服离散分割决策不可微的问题。

提出的方法

• 模型采用一种在编码器中插入分割门的分段序列到序列自编码器（SSAE），由强化学习智能体控制。
• 分割门利用结合当前声学特征、门控激活信号（GAS）和前一动作的状态向量，决定在每个时间步是否进行分割。
• 基于RNN的策略网络处理该状态，输出“分割”或“通过”动作的概率，在训练过程中采样动作以鼓励探索。
• 编码器RNN仅在分割点生成嵌入，且在每个片段后重置隐藏状态，以确保每个嵌入的独立性。
• 通过策略梯度强化学习进行模型训练，以最小化重建误差，同时鼓励每句话具有合理数量的分割。
• 引入基于分割数与话语长度比值（r_{N/T}）的正则化项，以引导分割数量并防止过度分割。

Fig. 1 : The segmental sequence-to-sequence autoencoder (SSAE). In addition to the encoder RNN (ER) and decoder RNN (DR), a segmentation gate (blocks S ) is included in the encoder for estimating the word boundaries. During transitions across the segment boundaries, encoder RNN and decoder RNN are r

实验结果

研究问题

• RQ1 能否通过联合优化无监督语音词分割与音频嵌入学习，提升语音词检测等下游任务的性能？
• RQ2 强化学习与序列到序列自编码器的结合，如何实现分割边界与语音嵌入的端到端学习？
• RQ3 与基于启发式或基线分割方法获得的嵌入相比，所学习的嵌入在多大程度上携带了语音结构信息？
• RQ4 在多种语言中，该方法是否优于基于帧的动态时间规整（DTW）在语音词检测中的表现？
• RQ5 为何SSAE模型在德国语中语音词检测性能优于其分割性能基线（如GAS），尽管其分割F1值略低？

主要发现

• 在语音词检测任务中，SSAE在英语上的平均平均精度（MAP）为23.27，捷克语为19.41，法语为21.70，德语为13.82，显著优于基于帧的DTW基线。
• 在捷克语中，SSAE在语音词分割任务中取得37.78的F1分数，优于HAC（30.84）和GAS（29.53），并超过随机基线（25.41）。
• 在英语中，SSAE的召回率为51.55%，精确率为37.06%，表明其成功识别出大量词边界，尽管部分被拆分为子词单元。
• 尽管在德语中的分割F1值略低于GAS（31.69 vs. 32.89），SSAE在语音词检测任务中表现显著更优（MAP为13.82 vs. 0.27），表明其嵌入质量更高。
• 在理想条件（真实词边界）下，MAP达到最高值（英语为30.28），证实SSAE学习到的嵌入在捕捉语音结构方面已接近最优。
• 结果表明，语音词分割质量必须超过某一最低阈值，音频Word2Vec才能生成有用的嵌入；若分割质量差，则性能接近随机水平。

Fig. 2 : An illustration of unsupervised spoken term detection performed with segment-based subsequence matching using SSAE.