[论文解读] RawBoost: A Raw Data Boosting and Augmentation Method applied to Automatic Speaker Verification Anti-Spoofing

Hemlata Tak, Madhu R. Kamble+3 more|arXiv (Cornell University)|Nov 8, 2021

Speech and Audio Processing被引用 8

一句话总结

RawBoost 是一种针对基于原始波形的自动说话人验证反欺骗技术的数据增强方法，通过应用线性和非线性卷积噪声、脉冲信号相关噪声以及平稳信号无关噪声，模拟电话通信引起的失真。该方法在不使用外部数据或模型级修改的情况下，将最先进端到端系统在最小 t-DCF 上提升了 27%。

ABSTRACT

This paper introduces RawBoost, a data boosting and augmentation method for the design of more reliable spoofing detection solutions which operate directly upon raw waveform inputs. While RawBoost requires no additional data sources, e.g. noise recordings or impulse responses and is data, application and model agnostic, it is designed for telephony scenarios. Based upon the combination of linear and non-linear convolutive noise, impulsive signal-dependent additive noise and stationary signal-independent additive noise, RawBoost models nuisance variability stemming from, e.g., encoding, transmission, microphones and amplifiers, and both linear and non-linear distortion. Experiments performed using the ASVspoof 2021 logical access database show that RawBoost improves the performance of a state-of-the-art raw end-to-end baseline system by 27% relative and is only outperformed by solutions that either depend on external data or that require additional intervention at the model level.

研究动机与目标

• 解决电话场景中欺骗检测缺乏域内训练数据的问题，即训练集中缺少编码和传输引起的失真影响。
• 开发一种与端到端原始波形模型兼容的数据增强技术，该技术无法使用类似 SpecAugment 的频域增强方法。
• 在不依赖外部数据源（如噪声录音或混响脉冲响应）的前提下，提升欺骗检测对未知编码和传输失真的鲁棒性。
• 设计一种数据、应用和模型无关的方法，使其可广泛应用于其他具有类似干扰变异性的音频分类任务。
• 在避免模型级干预或依赖特定编解码器数据的前提下，实现与最先进系统相当的性能提升。

提出的方法

• 应用线性和非线性卷积噪声，以模拟电话编解码器和传输路径引起的频率响应失真。
• 引入脉冲信号相关加性噪声，以建模非线性失真（如削波和放大器饱和）。
• 添加平稳信号无关加性噪声，以模拟背景环境噪声，但在无噪声的 LA 场景中表现有限。
• 独立组合这三种噪声类型，直接从原始波形生成增强后的训练样本。
• 仅使用现有训练语音样本，无需额外数据源（如噪声录音或脉冲响应）。
• 在训练过程中应用增强流程，不修改模型架构或损失函数，确保模型无关性。

Fig. 1 : Proposed RawBoost data augmentation framework including: (1) linear and non-linear convolutive noise; (2) impulsive signal-dependent additive noise; (3) stationary signal-independent additive noise. In (1), the profile in each rectangular box shows the frequency response for first harmonic

实验结果

研究问题

• RQ1 是否能够通过原始波形级别的数据增强方法，在不使用外部数据源的情况下提升电话场景中的欺骗检测性能？
• RQ2 RawBoost 在降低未知编码和传输失真对反欺骗系统影响方面的有效性如何？
• RQ3 RawBoost 是否优于或至少匹配依赖外部数据或模型级修改的最先进系统？
• RQ4 每种噪声成分（线性/非线性卷积噪声、脉冲噪声、平稳噪声）对整体性能提升的相对贡献是什么？
• RQ5 RawBoost 是否能有效应用于与频域增强技术不兼容的端到端原始波形模型？

主要发现

• RawBoost 将原始端到端基线系统的最小 t-DCF 相对提升了 27%，从 0.4257 降低至 0.3099。
• 表现最佳的配置结合了线性/非线性卷积噪声与脉冲信号相关加性噪声（RawBoost (1)+(2)），实现 pooled 最小 t-DCF 为 0.3099，EER 为 5.31%。
• 当与其他技术结合时，添加平稳信号无关噪声并未带来性能增益，可能是因为 ASVspoof 2021 LA 数据集中缺乏环境噪声。
• RawBoost 在所有七个评估条件（C1–C7）下均优于基线系统，表现出对未知编码和传输效应的一致鲁棒性。
• 在表现最佳的单一系统中，经 RawBoost 增强的 RawNet2 在最小 t-DCF 上排名第三（0.3099），且是唯一使用原始波形、无需外部数据或模型修改的系统。
• RawBoost 在性能上与使用外部数据（如 MUSAN）或模型级干预（如损失函数修改）的系统相当，同时保持更简单且更具泛化能力。

Fig. 2 : Magnitude response of a multi-band filter with $N_{\textrm{notch}}=3$ notch filters centered at normalised frequencies of 0.01, 0.35 and 0.45, bandwidths 0.06, 0.03 and 0.02 and number of filter coefficients 30, 94 and 52.