[论文解读] Time-Frequency Trade-offs for Audio Source Separation with Binary Masks

Andrew Simpson|arXiv (Cornell University)|Apr 28, 2015

Speech and Audio Processing参考文献 8被引用 5

一句话总结

本文研究了短时傅里叶变换（STFT）窗函数大小对真实世界信号（如语音和音乐）的基于二值掩码的音频源分离的影响。结果表明，最优的时间-频率分辨率权衡在不同源类型之间存在显著差异，不同窗函数大小对不同信号组合的分离性能表现更优，挑战了存在通用最优设置的假设。

ABSTRACT

The short-time Fourier transform (STFT) provides the foundation of binary-mask based audio source separation approaches. In computing a spectrogram, the STFT window size parameterizes the trade-off between time and frequency resolution. However, it is not yet known how this parameter affects the operation of the binary mask in terms of separation quality for real-world signals such as speech or music. Here, we demonstrate that the trade-off between time and frequency in the STFT, used to perform ideal binary mask separation, depends upon the types of source that are to be separated. In particular, we demonstrate that different window sizes are optimal for separating different combinations of speech and musical signals. Our findings have broad implications for machine audition and machine learning in general.

研究动机与目标

• 了解STFT窗函数大小如何影响二值掩码在音频源分离中的表现。
• 识别不同语音与音乐信号组合的最优时间-频率分辨率权衡。
• 评估是否存在单一窗函数大小可普遍优化各类真实世界音频源的分离质量。
• 为机器听觉与机器学习应用中的自适应窗函数大小提供实证依据。

提出的方法

• 本研究使用不同窗函数大小的STFT谱图生成理想二值掩码。
• 通过感知和客观指标在真实世界语音和音乐信号上评估分离质量。
• 测试了不同窗函数大小（如256、512、1024样本）以分析时间-频率分辨率的权衡。
• 将STFT应用于混合音频信号，并基于信噪比能量比计算二值掩码。
• 采用标准音频分离评估标准，比较不同窗函数大小下的性能表现。
• 分析聚焦于时间与频谱分辨率如何影响不同源类型分离的准确性。

实验结果

研究问题

• RQ1 STFT窗函数大小如何影响使用理想二值掩码的音频源分离质量？
• RQ2 分离语音-语音、音乐-音乐以及语音-音乐组合时，是否存在不同的最优窗函数大小？
• RQ3 是否存在单一窗函数大小可在各类音频源组合中保持一致的最优性能？
• RQ4 时间与频率分辨率的权衡如何影响真实世界信号中的分离准确性？
• RQ5 能否根据特定源类型调整窗函数大小以提升分离性能？

主要发现

• 不同窗函数大小在不同源类型下的分离性能表现存在显著差异。
• 较短窗函数（如256样本）可提升时间分辨率，对分离语音-语音或语音-音乐更有效。
• 较长窗函数（如1024样本）可增强频率分辨率，对分离音乐-音乐表现更优。
• 最优窗函数大小并非通用，而是取决于目标源的频谱与时间特性。
• 时间与频率分辨率的权衡具有源依赖性，不存在对所有信号组合均最优的单一窗函数大小。
• 这些发现表明，实际音频源分离系统中应考虑自适应窗函数大小。