[论文解读] Utterance-level Aggregation For Speaker Recognition In The Wild

Weidi Xie, Arsha Nagrani+2 more|arXiv (Cornell University)|Feb 26, 2019

Speech Recognition and Synthesis参考文献 24被引用 17

一句话总结

该论文提出了一种轻量级、端到端可训练的说话人识别模型，采用精简残差网络（thin-ResNet）作为主干网络，并结合基于词典的 NetVLAD/GhostVLAD 层进行话语级特征聚合，在 VoxCeleb1 上实现了 3.22% 的等错误率（EER），显著优于先前方法，且参数量更少。该方法通过学习判别性时间池化机制，有效过滤掉无关的语音片段。

ABSTRACT

The objective of this paper is speaker recognition "in the wild"-where utterances may be of variable length and also contain irrelevant signals. Crucial elements in the design of deep networks for this task are the type of trunk (frame level) network, and the method of temporal aggregation. We propose a powerful speaker recognition deep network, using a "thin-ResNet" trunk architecture, and a dictionary-based NetVLAD or GhostVLAD layer to aggregate features across time, that can be trained end-to-end. We show that our network achieves state of the art performance by a significant margin on the VoxCeleb1 test set for speaker recognition, whilst requiring fewer parameters than previous methods. We also investigate the effect of utterance length on performance, and conclude that for "in the wild" data, a longer length is beneficial.

研究动机与目标

• 在语音长度不一且包含无关信号的非约束、真实场景下，提升说话人识别性能。
• 解决传统池化方法（如平均池化）将所有帧同等对待、无法过滤噪声或无关内容的局限性。
• 研究在真实世界、嘈杂环境中，语音输入长度对说话人识别性能的影响。
• 设计一种紧凑高效的模型，通过端到端训练结合大 margin 交叉熵损失（AM-Softmax），生成判别性强、固定长度的嵌入表示。

提出的方法

• 采用全卷积的‘精简残差网络’（thin-ResNet）架构作为 2D 梅尔频谱图的帧级特征提取器。
• 使用可学习词典的 NetVLAD 或 GhostVLAD 层，实现内容感知、判别性的帧级特征时间聚合。
• NetVLAD/GhostVLAD 层将帧级特征分配至学习得到的聚类中心，并将残差编码为固定大小的描述符。
• 在大规模 VoxCeleb2 数据集上，通过端到端训练，使用大 margin 交叉熵损失（AM-Softmax）或标准交叉熵损失进行优化。
• 在最终验证阶段，采用余弦相似度或 PLDA 进行评分，无需测试时数据增强。
• 使用作者公开发布的 VoxCeleb1 和 VoxCeleb1-H 测试集的清洗版本进行评估。

Fig. 1 : Network architecture. It consists of two parts: feature extraction , where a shared CNN is used to encode the spectrogram and extract frame-level features, and aggregation , which aggregates all the local descriptors into a single compact representation of arbitrary length.

实验结果

研究问题

• RQ1 在非约束、嘈杂条件下，基于词典的聚合层（NetVLAD/GhostVLAD）是否能超越标准池化方法？
• RQ2 采用轻量级的精简残差网络架构并结合端到端训练，是否能比更深、参数更多的模型获得更优的性能与效率？
• RQ3 在真实场景中，输入语音的长度如何影响说话人识别的准确率？
• RQ4 GhostVLAD 层通过剪枝冗余聚类，是否能进一步通过过滤无关语音片段提升性能？
• RQ5 相较于注意力机制或统计池化方法，判别性词典基聚合方法的性能优势是否依然显著？

主要发现

• 所提模型在 VoxCeleb1 测试集上使用 AM-Softmax 和 GhostVLAD 时，EER 达到 3.22%，优于此前最先进方法（4.48% EER），且参数量从 2600 万降至 1000 万。
• 在更具挑战性的 VoxCeleb1-H 测试集上，模型 EER 为 5.17%，显著优于原始基于 ResNet 的模型（7.33% EER）。
• 语音长度与性能呈强正相关：EER 从 2 秒时的 7.97% 降至 6 秒时的 3.39%，表明更长的语音段能提升鲁棒性。
• 时间平均池化（TAP）性能较差（EER 为 10.48%），表明其虽增强类间分离，却无法有效降低类内差异。
• GhostVLAD 层对聚类数（8–14）具有鲁棒性，不同配置下 EER 变化小于 0.1%，表明性能稳定。
• 结合精简残差网络、NetVLAD/GhostVLAD 与 AM-Softmax 损失，可在极小模型尺寸下实现最先进性能，充分体现了效率与有效性。