[论文解读] WEnets: A Convolutional Framework for Evaluating Audio Waveforms

Andrew Catellier, Stephen Voran|arXiv (Cornell University)|Sep 19, 2019

Speech and Audio Processing参考文献 21被引用 10

一句话总结

WEnets 是一种新颖的卷积神经网络框架，可直接处理原始音频波形，无需参考信号即可预测语音质量和可懂度。NAWEnet 是 WEnets 的一个专用实例，在仅使用 50% 训练数据的情况下，与 PESQ、POLQA 和 STOI 的相关性达到极高水平（ρseg > 0.91），表明其在端到端从波形中学习最优特征方面，性能优于现有无参考方法。

ABSTRACT

We describe a new convolutional framework for waveform evaluation, WEnets, and build a Narrowband Audio Waveform Evaluation Network, or NAWEnet, using this framework. NAWEnet is single-ended (or no-reference) and was trained three separate times in order to emulate PESQ, POLQA, or STOI with testing correlations 0.95, 0.92, and 0.95, respectively when training on only 50% of available data and testing on 40%. Stacks of 1-D convolutional layers and non-linear downsampling learn which features are important for quality or intelligibility estimation. This straightforward architecture simplifies the interpretation of its inner workings and paves the way for future investigations into higher sample rates and accurate no-reference subjective speech quality predictions.

研究动机与目标

• 开发一种灵活的深度学习框架 WEnets，可直接评估波形，无需依赖手工设计的特征。
• 通过原始波形实现无参考（单端）窄带语音质量与可懂度预测。
• 在最小化训练数据的前提下，实现与现有全参考指标（PESQ、POLQA、STOI）的高度相关性。
• 通过采用简单架构，提升模型可解释性，实现从波形中端到端学习相关特征。
• 将该框架扩展至更高采样率及更广泛的音频应用，包括音乐和宽带语音。

提出的方法

• 设计一个由堆叠卷积块组成的 1D 卷积神经网络框架 WEnets，激活函数采用 ReLU 或 PReLU，结合非线性下采样。
• 在第一层使用平均池化对原始波形进行下采样，以增强对音频信号的鲁棒性，优于最大池化。
• 端到端训练 NAWEnet——WEnets 的窄带变体——基于原始波形预测 PESQ、POLQA 或 STOI 分数。
• 采用多阶段架构，逐步增加滤波器深度并实现空间下采样，以从波形中提取分层特征。
• 优化超参数，包括滤波器长度（第一层 fₗ = 11）、滤波器数量（fₙ）和下采样率（dₒ），其中 PReLU 表现优于漏失 ReLU。
• 使用 133.5 小时的训练语料，测试数据为 106.8 小时，通过在源数据集之间仔细划分数据，评估泛化能力。

实验结果

研究问题

• RQ1 在原始波形上直接训练的深度卷积网络能否与现有全参考语音质量与可懂度指标实现高度相关？
• RQ2 从波形中端到端学习特征的方法与依赖手工设计特征（如谱图或梅尔倒谱系数）的传统方法相比，表现如何？
• RQ3 单一网络架构在多样化的语音条件下（包括未见说话者和低语音活动）的泛化能力有多强？
• RQ4 激活函数的选择（如 PReLU 与 ReLU）是否显著影响波形评估任务的性能？
• RQ5 该框架能否扩展至更高采样率及其他音频模态，如音乐或宽带语音？

主要发现

• 当在仅 50% 可用数据上进行训练并在 40% 数据上测试时，NAWEnet 与 PESQ、POLQA 和 STOI 的段级相关性（ρseg）均超过 0.91。
• 模型在 PESQ 上实现 ρseg = 0.95，POLQA 上为 0.92，STOI 上为 0.95，优于其他无参考方法在相同基准上的表现。
• 当足够训练数据（如训练集的 15%）包含此类条件时，NAWEnet 在未见说话者和低活动语音上表现出良好的泛化能力。
• 使用每层具有可学习参数的 PReLU 激活函数，性能优于标准 ReLU 和漏失 ReLU，尤其在早期层中表现更优。
• 第一层使用平均池化优于最大池化，可能是因为波形表示中所有音频样本的重要性相当。
• 与数据集 7 相比，模型在数据集 8（存在帧丢失）上表现更优，可能由于其数据量更大（占训练数据的 46%），表明数据量提升可增强鲁棒性。