[论文解读] The NPU System for the 2020 Personalized Voice Trigger Challenge

Jingyong Hou, Li Zhang+5 more|arXiv (Cornell University)|Feb 26, 2021

Speech Recognition and Synthesis参考文献 16被引用 6

一句话总结

本论文介绍了NPU系统在2020年个性化语音唤醒挑战赛中的表现，结合了多尺度空洞时序卷积（MDTC）关键词检测（KWS）模型与使用ArcFace和监督对比损失的说话人验证（SV）系统。该系统在近距离和远场任务中分别实现了0.081和0.091的检测成本，排名第二，有效实现了唤醒词的检测与说话人身份的高精度、低延迟验证。

ABSTRACT

This paper describes the system developed by the NPU team for the 2020 personalized voice trigger challenge. Our submitted system consists of two independently trained subsystems: a small footprint keyword spotting (KWS) system and a speaker verification (SV) system. For the KWS system, a multi-scale dilated temporal convolutional (MDTC) network is proposed to detect wake-up word (WuW). For SV system, Write something here. The KWS predicts posterior probabilities of whether an audio utterance contains WuW and estimates the location of WuW at the same time. When the posterior probability ofWuW reaches a predefined threshold, the identity information of triggered segment is determined by the SV system. On evaluation dataset, our submitted system obtains detection costs of 0.081and 0.091 in close talking and far-field tasks, respectively.

研究动机与目标

• 开发一种个性化语音唤醒系统，能够检测唤醒词并验证说话人身份，防止未经授权的激活。
• 在远场和多人说话等复杂环境下提升关键词检测（KWS）的性能。
• 通过ArcFace和监督对比损失等先进损失函数提升说话人验证（SV）的准确性。
• 优化系统效率，实现在计算资源有限的边缘设备上的实时部署。
• 通过有效的数据增强策略缓解训练集、开发集与评估集之间的领域差异。

提出的方法

• 提出一种多尺度空洞时序卷积（MDTC）网络用于KWS，采用膨胀深度可分离1D卷积并逐步增加膨胀率（1, 2, 4, 8），以捕捉长程时间上下文。
• MDTC模块包含残差连接、批量归一化、ReLU激活函数以及挤压-激励（SE）模块，以增强特征表示并提升训练稳定性。
• KWS系统采用二元交叉熵（BCE）损失进行帧级分类，正样本定义为以唤醒词为中心的40帧，负样本为其余所有帧。
• 对于SV，系统采用ArcFace损失和监督对比损失，以提升嵌入质量并减少类内差异。
• 通过在唤醒词前后插入非关键词语音段，以及使用开发集负样本进行数据增强，以提升泛化能力。
• 最终系统采用两阶段流水线集成KWS与SV：KWS触发语音段，SV利用注册嵌入对说话人进行认证。

实验结果

研究问题

• RQ1 如何设计一种轻量化、高精度的KWS系统，以在近距离和远场条件下检测唤醒词？
• RQ2 在个性化语音唤醒场景中，哪些损失函数最有效提升说话人验证性能？
• RQ3 如何通过数据增强策略缓解KWS中训练集、开发集与评估集之间的领域差异？
• RQ4 通过分数融合结合多个SV模型在多大程度上能提升整体系统的鲁棒性与准确性？
• RQ5 端到端个性化语音唤醒系统在真实边缘硬件上的推理效率如何？

主要发现

• NPU系统在近距离任务的评估集上实现了0.081的检测成本，在远场任务中为0.091，整体排名第二。
• 所提出的基于MDTC的KWS模型显著优于官方PVTC2020基线模型，尤其在检测成本和对未见条件的泛化能力方面表现突出。
• 在KWS训练中使用开发集负样本显著提升了性能，表明与评估集的领域对齐效果更好。
• 采用ArcFace与监督对比损失的SV系统将等错误率（EER）降低至近距离0.821%、远场1.423%，优于基线模型。
• KWS和SV的实时因子分别低至0.05和0.07，表明系统具备极强的推理效率，适合边缘设备部署。
• 开发集上的性能优于评估集，可能由于评估数据中说话人多样性更高、测试样本更复杂。