[论文解读] STOI-Net: A Deep Learning based Non-Intrusive Speech Intelligibility Assessment Model

Ryandhimas E. Zezario, Szu‐Wei Fu+3 more|arXiv (Cornell University)|Nov 9, 2020

Speech and Audio Processing参考文献 28被引用 15

一句话总结

STOI-Net 是一种基于深度学习的非侵入式语音可懂度评估模型，通过使用带有乘法注意力机制的 CNN-BLSTM 架构，直接从降质语音的频谱特征预测 STOI 分数。该模型在已见条件（0.97）和未见条件（0.83）下与实际 STOI 分数均表现出高度相关性，且无需使用干净语音参考，展示了在噪声和语音增强场景下的强大泛化能力。

ABSTRACT

The calculation of most objective speech intelligibility assessment metrics requires clean speech as a reference. Such a requirement may limit the applicability of these metrics in real-world scenarios. To overcome this limitation, we propose a deep learning-based non-intrusive speech intelligibility assessment model, namely STOI-Net. The input and output of STOI-Net are speech spectral features and predicted STOI scores, respectively. The model is formed by the combination of a convolutional neural network and bidirectional long short-term memory (CNN-BLSTM) architecture with a multiplicative attention mechanism. Experimental results show that the STOI score estimated by STOI-Net has a good correlation with the actual STOI score when tested with noisy and enhanced speech utterances. The correlation values are 0.97 and 0.83, respectively, for the seen test condition (the test speakers and noise types are involved in the training set) and the unseen test condition (the test speakers and noise types are not involved in the training set). The results confirm the capability of STOI-Net to accurately predict the STOI scores without referring to clean speech.

研究动机与目标

• 开发一种无需干净语音作为参考的非侵入式语音可懂度评估模型。
• 解决现有客观指标依赖干净语音进行 STOI 计算的局限性。
• 提升语音可懂度评估在降质或噪声语音实际场景中的适用性。
• 利用深度学习从频谱特征本身学习语音退化模式的鲁棒表征。
• 在多样化测试条件下，实现预测 STOI 分数与实际 STOI 分数之间的高度相关性。

提出的方法

• 该模型以语音频谱特征作为输入，输出为 STOI 分数。
• 采用 CNN-BLSTM 架构，从输入语谱图中提取分层的时间-频谱模式。
• 集成乘法注意力机制，聚焦于语谱图中的相关时间-频率区域。
• 通过预测 STOI 分数与真实 STOI 分数之间的均方误差损失，进行端到端训练。
• 该架构使模型能够在无干净参考信号的情况下学习复杂的退化模式。
• 模型在包含不同说话人和噪声类型的已见与未见测试条件下进行评估。

实验结果

研究问题

• RQ1 深度学习模型是否能够在无需干净语音参考的情况下准确预测 STOI 分数？
• RQ2 该模型在真实世界条件下对未见说话人和噪声类型的泛化能力如何？
• RQ3 CNN-BLSTM 搭载注意力机制在仅从频谱特征预测语音可懂度方面的表现如何？
• RQ4 在非侵入式设置中，该模型的性能与传统侵入式指标相比如何？
• RQ5 注意力机制在降质语音场景中对预测准确性的提升程度如何？

主要发现

• 在训练集中包含相同说话人和噪声类型的已见测试条件下，STOI-Net 模型与实际 STOI 分数的相关性达到 0.97。
• 在更具挑战性的未见测试条件下，模型仍保持 0.83 的高相关性，展现出强大的泛化能力。
• 该模型在无干净语音访问的情况下成功预测 STOI 分数，证实了其非侵入性。
• 乘法注意力机制的引入增强了模型聚焦于相关频谱-时间特征的能力。
• 结果表明，深度神经网络能够直接从语谱图中有效学习与可懂度相关的退化模式。
• 在非侵入式设置中，该模型优于传统侵入式指标，因其消除了对干净参考信号的需求。