[论文解读] Version Control of Speaker Recognition Systems

Quan Wang, Ignacio López Moreno|arXiv (Cornell University)|Jul 23, 2020

Speech Recognition and Synthesis参考文献 17被引用 7

一句话总结

本文提出了一套全面的语音识别系统版本控制框架，解决了系统更新过程中模型与用户档案之间兼容性的关键挑战。该工作引入了三种部署策略——设备端、服务端和混合部署，并提出SpeakerVerSim，一种基于Python的仿真工具，可基于延迟、向后兼容回退率和云工作负载对策略进行定量评估，结果表明在生产环境中双版本更新优于单版本更新。

ABSTRACT

This paper discusses one of the most challenging practical engineering problems in speaker recognition systems - the version control of models and user profiles. A typical speaker recognition system consists of two stages: the enrollment stage, where a profile is generated from user-provided enrollment audio; and the runtime stage, where the voice identity of the runtime audio is compared against the stored profiles. As technology advances, the speaker recognition system needs to be updated for better performance. However, if the stored user profiles are not updated accordingly, version mismatch will result in meaningless recognition results. In this paper, we describe different version control strategies for speaker recognition systems that had been carefully studied at Google from years of engineering practice. These strategies are categorized into three groups according to how they are deployed in the production environment: device-side deployment, server-side deployment, and hybrid deployment. To compare different strategies with quantitative metrics under various network configurations, we present SpeakerVerSim, an easily-extensible Python-based simulation framework for different server-side deployment strategies of speaker recognition systems.

研究动机与目标

• 为解决生产系统中更新后的语音识别模型与遗留用户档案之间版本不匹配这一关键工程挑战。
• 根据部署架构对版本控制策略进行分类与评估：设备端、服务端和混合部署。
• 开发一种仿真框架，实现在真实网络条件下对版本控制策略进行定量比较。
• 基于关键性能指标（如延迟、向后兼容回退率和云工作负载分布）识别服务端部署的最优版本控制策略。
• 基于谷歌多年工程实践经验，提供实用的、生产级解决方案。

提出的方法

• 将版本控制策略划分为三种部署类型：设备端、服务端和混合部署，每类具有不同的更新与档案管理机制。
• 提出SpeakerVerSim，一种模块化、可扩展的基于Python的仿真框架，用于模拟在不同网络和更新配置下的运行时行为。
• 实现并评估五种服务端策略：SSO（单版本在线）、SSO-sync、SSO-hash、SSO-mul 和 SD（双版本），其向后兼容性和重新注册逻辑各不相同。
• 利用仿真测量不同策略下的端到端延迟、向后版本回退率以及后端云服务器的工作负载分布。
• 采用统计可视化方法（如Seaborn）分析不同调度和更新策略下云服务器间的工作负载不平衡与延迟分布。
• 引入真实世界约束条件，如用户请求频率分布、模型更新时机以及动态负载均衡假设，以模拟真实生产环境下的行为。

实验结果

研究问题

• RQ1 在生产系统中，保持更新后的语音识别模型与遗留用户档案之间兼容性的关键挑战是什么？
• RQ2 不同的部署架构（设备端、服务端、混合）如何影响版本控制策略的设计与性能？
• RQ3 在动态生产环境中，哪种服务端版本控制策略能最小化端到端延迟和向后版本回退率？
• RQ4 不同的请求调度与模型更新策略如何影响云服务器的工作负载分布与资源利用率？
• RQ5 双版本更新策略是否在系统稳定性与性能方面优于单版本在线更新？

主要发现

• 双版本（SD）策略实现了最低的最大端到端延迟，由于背景重新注册和向后版本回退均未发生，因此无异常值。
• SSO 和 SSO-sync 策略的最大端到端延迟最高，这是由于模型更新期间频繁的向后版本回退导致的重新注册。
• SSO-hash 和 SSO-mul 策略的延迟方差低于 SSO 和 SSO-sync，因为它们通过版本哈希或多重模型支持消除了向后回退。
• SSO-sync 导致云服务器间工作负载严重失衡，部分工作进程（如 worker-9）在更新初期承受高负载，而其他进程（如 worker-4）在更新过程中逐渐变得利用率不足。
• SSO-hash 由于用户到服务器的确定性映射，导致持久的工作负载偏差，尤其在用户请求频率差异较大时更为明显。
• SSO、SSO-mul 和 SD 策略支持灵活的负载均衡，因其不依赖固定调度逻辑，因而更能适应动态负载均衡算法。