[论文解读] Personal VAD: Speaker-Conditioned Voice Activity Detection

Shaojin Ding, Quan Wang+3 more|arXiv (Cornell University)|Aug 12, 2019

Speech Recognition and Synthesis参考文献 30被引用 8

一句话总结

本文提出 Personal VAD，一种轻量级、说话人条件化的语音活动检测系统，通过使用 130K 参数的神经网络并结合说话人嵌入，将音频帧分类为非语音、目标说话人语音或非目标说话人语音。该系统在保持低延迟、低功耗的同时，仅在目标用户说话时触发语音识别，显著优于标准 VAD 与说话人验证的级联基线模型。

ABSTRACT

In this paper, we propose "personal VAD", a system to detect the voice activity of a target speaker at the frame level. This system is useful for gating the inputs to a streaming on-device speech recognition system, such that it only triggers for the target user, which helps reduce the computational cost and battery consumption, especially in scenarios where a keyword detector is unpreferable. We achieve this by training a VAD-alike neural network that is conditioned on the target speaker embedding or the speaker verification score. For each frame, personal VAD outputs the probabilities for three classes: non-speech, target speaker speech, and non-target speaker speech. Under our optimal setup, we are able to train a model with only 130K parameters that outperforms a baseline system where individually trained standard VAD and speaker recognition networks are combined to perform the same task.

研究动机与目标

• 开发一种实时、设备端的语音活动检测系统，仅在目标说话人说话时触发语音识别，从而降低电池和计算资源消耗。
• 解决将独立的 VAD 与说话人验证模型组合所带来的高延迟和高计算开销问题。
• 设计一种轻量级、帧级推理模型，能够区分非语音、目标说话人语音与非目标说话人语音。
• 通过极小的模型规模学习说话人特定的语音活动模式，提升在噪声环境和多人说话场景下的鲁棒性。
• 通过消除唤醒词检测需求，实现无缝、无关键词的语音助手交互。

提出的方法

• 提出一种三分类帧级分类模型，输入为声学特征和目标说话人嵌入，输出预测：非语音、目标说话人语音或非目标说话人语音。
• 采用两层 LSTM 网络（每层 64 个单元）和一个全连接输出层，使用交叉熵损失进行初始三分类训练。
• 引入一种加权成对损失函数，赋予区分目标说话人语音与非语音、非目标说话人语音更高的重要性，同时降低非语音与非目标说话人语音之间区分的权重。
• 使用 d-vector 说话人嵌入模型（在 8 种语言上微调）编码说话人身份，并在推理阶段作为条件输入。
• 通过最小化模型大小（0.13M 参数）和实现逐帧实时处理，优化推理成本。
• 使用增强版 LibriSpeech 数据集评估性能，指标为平均精度（AP），并分别在有无多轮识别（MTR）条件下进行测试。

Figure 1: The speaker verification system [ 13 ] produces an utterance-level d-vector by aggregating window-level embeddings.

实验结果

研究问题

• RQ1 单一轻量级神经网络能否在检测目标说话人语音活动方面超越标准 VAD 与说话人验证模型的级联结构？
• RQ2 损失函数的选择——特别是加权成对损失——如何影响模型区分目标说话人语音与非语音、非目标说话人语音的能力？
• RQ3 个人化 VAD 模型在优化目标说话人检测的同时，能在多大程度上保持在标准 VAD 任务（语音/非语音检测）上的性能？
• RQ4 在设备端实时说话人条件化 VAD 中，模型大小、推理速度与准确率之间的最优权衡是什么？
• RQ5 在噪声和多人说话环境中，将 VAD 条件化于说话人嵌入是否能显著降低误报率和漏检率？

主要发现

• ET 架构（嵌入条件化 Transformer）在无 MTR 条件下实现 0.932 mAP 的目标说话人语音（tss）检测性能，有 MTR 时为 0.878，仅使用 0.13 百万参数，比基线说话人验证模型小 40 倍。
• 加权成对损失优于标准交叉熵损失，最优性能出现在 w<ns,ntss> = 0.1 时，有效减少非语音与非目标说话人语音之间的混淆，且未降低整体准确率。
• Personal VAD 模型在语音检测任务上的 AP 得分为 0.991（交叉熵损失）和 0.991（加权成对损失），与标准 VAD 模型（0.992）相当，证明在标准 VAD 任务上性能损失可忽略。
• ET 模型在 MTR 条件下实现非语音（ns）的 mAP 为 0.893，非目标说话人语音（ntss）为 0.901，表明在三类任务上均具备出色的泛化能力。
• 所提出的 Personal VAD 系统在准确率与效率方面均优于基线的 VAD 与说话人验证级联模型，尤其在资源受限的设备端场景中表现更优。
• 结果证实，Personal VAD 可在不增加模型大小或计算成本的前提下，替代下游自动语音识别系统中的标准 VAD，同时实现仅目标说话人激活的功能。

Figure 2: Four different architectures to implement personal VAD: (a) SC : Run standard VAD and frame-level speaker verification independently, and combine their results. This is used as a baseline for other aproaches. (b) ST : Concatenate frame-level speaker verification score with acoustic feature