[论文解读] Test-Time Adaptation Toward Personalized Speech Enhancement: Zero-Shot Learning with Knowledge Distillation

Sunwoo Kim, Minje Kim|arXiv (Cornell University)|May 8, 2021

Speech and Audio Processing被引用 4

一句话总结

本文提出了一种基于知识蒸馏的零样本测试时自适应方法，用于个性化语音增强，其中通过大型预训练教师模型生成的伪目标对紧凑的学生模型进行微调，实现了在无需任何测试说话人清洁语音的情况下，性能优于更大规模的一般化模型。该方法实现了保护隐私的高效模型压缩，并在未见说话人和噪声条件下显著提升了性能。

ABSTRACT

In realistic speech enhancement settings for end-user devices, we often encounter only a few speakers and noise types that tend to reoccur in the specific acoustic environment. We propose a novel personalized speech enhancement method to adapt a compact denoising model to the test-time specificity. Our goal in this test-time adaptation is to utilize no clean speech target of the test speaker, thus fulfilling the requirement for zero-shot learning. To complement the lack of clean utterance, we employ the knowledge distillation framework. Instead of the missing clean utterance target, we distill the more advanced denoising results from an overly large teacher model, and use it as the pseudo target to train the small student model. This zero-shot learning procedure circumvents the process of collecting users' clean speech, a process that users are reluctant to comply due to privacy concerns and technical difficulty of recording clean voice. Experiments on various test-time conditions show that the proposed personalization method achieves significant performance gains compared to larger baseline networks trained from a large speaker- and noise-agnostic datasets. In addition, since the compact personalized models can outperform larger general-purpose models, we claim that the proposed method performs model compression with no loss of denoising performance.

研究动机与目标

• 解决在资源受限设备上部署高效语音增强模型并为特定用户提供个性化性能的挑战。
• 实现在语音增强中的零样本学习，避免因隐私和实际可行性问题而需用户提供的清洁语音样本。
• 开发一种测试时自适应框架，通过知识蒸馏将紧凑的学生模型个性化适配至测试说话人的语音和声学环境。
• 通过个性化自适应实现模型压缩，同时保持或超越更大规模一般化模型的性能。
• 通过在云端微调后仅传输小型学生模型，实现高效、设备端部署。

提出的方法

• 采用知识蒸馏框架，学生模型使用大型预训练教师模型的输出作为伪目标进行训练，而非依赖实际的清洁语音。
• 教师模型在大规模多样化数据集上训练，能良好泛化于各种测试条件，并提供高质量的去噪估计。
• 学生模型在测试时使用教师模型的预测作为监督信号进行微调，从而在无需标注清洁数据的情况下适配特定说话人和噪声环境。
• 该方法支持教师与学生之间异构的模型架构，提升了模型设计与压缩的灵活性。
• 框架支持仅使用紧凑的学生模型在设备端进行推理，而计算量大的蒸馏过程则卸载至云端。
• 通过测试时自适应实现个性化，学生模型在不从头重新训练的情况下针对特定测试上下文进行优化。

Figure 1: An overview of the proposed KD-based PSE process. The estimated clean speech by the student model is compared against the result from a larger teacher model, whose discrepancy is used to fine-tune the student model. This can be done during the test time as it does not require the clean spe

实验结果

研究问题

• RQ1 在无法访问清洁语音数据的情况下，紧凑的学生模型能否在测试时有效个性化适配至特定说话人和噪声环境？
• RQ2 从大型一般化教师模型进行知识蒸馏，是否能实现相比相同或更大规模一般化模型的更优性能？
• RQ3 所提出的零样本方法是否能在学生模型小于教师模型的情况下实现无性能损失的模型压缩？
• RQ4 当使用具有不同架构和能力的教师模型进行微调时，学生模型的性能如何变化？
• RQ5 该框架是否可扩展以提升训练数据中代表性不足的说话人群体的性能？

主要发现

• 在所有测试条件下，个性化学生模型的性能均优于更大规模的一般化模型，其中2×32 CTN学生模型在-5 dB混合信噪比下表现优于2×1024一般化模型。
• 使用CTN教师模型训练的学生模型性能优于使用GRU教师模型训练的学生模型，表明教师模型质量直接影响学生模型性能。
• 与2×1024一般化模型相比，2×32个性化模型节省了1147万个参数和7.19亿次乘加操作（MACs），证实了有效的模型压缩。
• 在某些情况下，个性化学生模型甚至超越其教师模型，尤其当教师模型仅略大于学生模型时，这是由于其针对测试时上下文的专用适配。
• 该方法实现了保护隐私的个性化，因为无需用户提供任何清洁语音，解决了实际部署中的关键顾虑。
• 该框架具有灵活性，可应用于不同模型架构和损失函数，表明其在当前设置之外具有广泛适用性。

(a) -5 dB Mixture SNR