[论文解读] One-Shot Speaker Identification for a Service Robot using a CNN-based Generic Verifier

Ivette Vélez, Caleb Rascón+1 more|arXiv (Cornell University)|Sep 11, 2018

Speech Recognition and Synthesis参考文献 10被引用 5

一句话总结

该论文提出了一种面向服务机器人的单次说话人识别系统，采用基于孪生卷积神经网络（Siamese CNN）的通用验证器，通过比较音频嵌入实现识别，无需微调。在干净数据上达到97%的准确率，在真实录音中达到81.2%的准确率，通过动态将新说话人添加至外部音频数据库，实现实时、可扩展且自适应的说话人识别，适用于真实场景。

ABSTRACT

In service robotics, there is an interest to identify the user by voice alone. However, in application scenarios where a service robot acts as a waiter or a store clerk, new users are expected to enter the environment frequently. Typically, speaker identification models need to be retrained when this occurs, which can take an impractical amount of time. In this paper, a new approach for speaker identification through verification has been developed using a Siamese Convolutional Neural Network architecture (SCNN), where it learns to generically verify if two audio signals are from the same speaker. By having an external database of recorded audio of the users, identification is carried out by verifying the speech input with each of its entries. If new users are encountered, it is only required to add their recorded audio to the external database to be able to be identified, without retraining. The system was evaluated in four different aspects: the performance of the verifier, the performance of the system as a classifier using clean audio, its speed, and its accuracy in real-life settings. Its performance in conjunction with its one-shot-learning capabilities, makes the proposed system a viable alternative for speaker identification for service robots.

研究动机与目标

• 实现实时、自适应的说话人识别，适用于服务机器人，且在新用户进入环境时无需微调模型。
• 解决传统说话人识别系统在新增说话人时需要重新训练的局限性。
• 开发一种通用验证模型，用于判断两个音频样本是否来自同一说话人，从而实现数据库的动态扩展。
• 确保在噪声大且音频条件多变的真实环境中，具备高准确率和低延迟，以实现无缝的人机交互。
• 提供一种适用于餐厅或家庭等频繁有新用户的环境中的可扩展解决方案。

提出的方法

• 采用孪生卷积神经网络（SCNN）架构，学习两个音频嵌入之间的相似性函数。
• 使用对比损失在音频片段对上训练验证器，以区分同说话人与不同说话人对。
• 将音频输入表示为频谱图，并通过语音活动检测（VAD）提取能量足够高的音频段用于数据库存储。
• 使用动态外部数据库存储已知说话人的参考音频片段，实现新用户添加时无需模型微调。
• 将训练好的验证器应用于将输入音频与数据库中所有条目进行比较，以识别说话人或将其分类为未知。
• 使用干净语料库和真实录音对性能进行评估，模型变体基于VGG16和ResNet50架构。

实验结果

研究问题

• RQ1 是否可以训练一个通用的说话人验证模型，实现在新增用户时无需微调即可实现单次说话人识别？
• RQ2 与干净测试数据相比，该系统在真实环境中噪声大且音频条件多变的输入下表现如何？
• RQ3 增加每个说话人的音频条目数量对系统识别准确率有何影响？
• RQ4 该系统的推理速度与交互式服务机器人应用的实时性要求相比如何？
• RQ5 当输入音频包含背景噪声或非理想录音条件时，系统在多大程度上保持鲁棒性？

主要发现

• 使用性能最佳的SCNN模型（VGG7 32）在干净测试语料上实现了平均97%的准确率。
• 在真实录音中，系统实现了平均81.2%的准确率，超过80%的实际部署目标阈值。
• VGG7 32模型速度最快，将一个输入音频与100个数据库条目进行比较的验证时间仅为0.17秒。
• 增加每个说话人的音频条目数量对大多数用户的性能有提升作用，但部分用户未见改善甚至略有下降，可能由于VAD选择不够理想。
• 在噪声数据库上训练的模型表现出鲁棒性，在各种说话人数量和音频条目组合的真实环境中均保持高准确率。
• 在混淆矩阵中，系统在18次未知说话人检测中全部成功识别，表明具备强大的零样本检测能力。