[论文解读] Reinforcement Learning To Adapt Speech Enhancement to Instantaneous Input Signal Quality

Rasool Fakoor, Xiaodong He+2 more|arXiv (Cornell University)|Nov 29, 2017

Speech and Audio Processing被引用 6

一句话总结

该论文提出了一种强化学习（RL）框架，能够根据瞬时输入信号质量实时动态调整语音增强算法的参数，将增强算法视为黑箱。通过使用基于LSTM的RL智能体，基于帧级反馈优化信噪比（SNR）、均方误差（MSE）和谱失真，该方法相比非自适应基线模型在输出SNR上提升了42%，在MSE上提升了16%。

ABSTRACT

Today, the optimal performance of existing noise-suppression algorithms, both data-driven and those based on classic statistical methods, is range bound to specific levels of instantaneous input signal-to-noise ratios. In this paper, we present a new approach to improve the adaptivity of such algorithms enabling them to perform robustly across a wide range of input signal and noise types. Our methodology is based on the dynamic control of algorithmic parameters via reinforcement learning. Specifically, we model the noise-suppression module as a black box, requiring no knowledge of the algorithmic mechanics except a simple feedback from the output. We utilize this feedback as the reward signal for a reinforcement-learning agent that learns a policy to adapt the algorithmic parameters for every incoming audio frame (16 ms of data). Our preliminary results show that such a control mechanism can substantially increase the overall performance of the underlying noise-suppression algorithm; 42% and 16% improvements in output SNR and MSE, respectively, when compared to no adaptivity.

研究动机与目标

• 为解决现有语音增强算法在不同输入信噪比（SNR）下性能不佳的局限性。
• 实现实时、动态的算法参数自适应调整，以响应瞬时信号质量，且无需了解增强算法的内部结构。
• 通过数据驱动的黑箱优化方法，在多样化输入条件下提升整体语音增强性能。
• 探索在实际、真实世界音频场景中，使用强化学习实现实时信号处理自适应调整的可行性。

提出的方法

• 该方法将经典语音增强算法（Tashev et al., 2009）建模为黑箱，仅需输出反馈作为奖励信号。
• 基于LSTM的强化学习智能体学习在每个16毫秒音频帧上调整关键算法参数（如增益、阈值、偏置）。
• 奖励信号通过与真实干净信号比较得到的信号失真度量（MSE、SNR、LSD）计算，实现实时反馈。
• 使用REINFORCE算法优化策略，以最大化随时间累积的期望奖励。
• 采用基线法进行方差缩减，以提升训练稳定性和收敛性。
• 系统在线运行，根据当前输入特征逐帧调整参数，实现对宽范围SNR（0–30 dB）的鲁棒性。

实验结果

研究问题

• RQ1 强化学习能否有效实现实时自适应调整语音增强算法参数，以在不同输入SNR水平下提升性能？
• RQ2 与固定参数优化相比，通过RL实现的帧级参数自适应在SNR、MSE和谱失真方面表现如何？
• RQ3 将信号级失真度量作为奖励函数，对感知质量和客观语音质量度量的优化有何影响？
• RQ4 尽管SNR和MSE有所提升，为何WER、SER和PESQ未见改善？将其纳入RL奖励函数面临哪些挑战？

主要发现

• 所提出的基于RL的自适应方法相比固定参数的非自适应基线，输出SNR提升了42%，MSE提升了16%。
• 该方法在对数谱距离（LSD）上实现了4%的提升，表明增强语音的谱保真度更好。
• 尽管信号级度量有所改善，WER、SER和PESQ未见显著提升，因为这些度量未被纳入奖励函数。
• 基于MSE、SNR和LSD的奖励函数能有效优化信号失真，但无法直接影响高层次的语音识别或感知质量度量。
• RL智能体成功学习到按帧动态调整参数，展示了在宽输入SNR范围（0–30 dB）内的鲁棒性。
• 该方法优于离线优化技术，因为在推理阶段实现了动态、输入相关的参数自适应，而固定参数方案则不具备此能力。