[论文解读] Multi-Speaker Localization Using Convolutional Neural Network Trained with Noise

Soumitro Chakrabarty, Emanuël A. P. Habets|arXiv (Cornell University)|Dec 12, 2017

Speech and Audio Processing参考文献 12被引用 36

一句话总结

该论文提出了一种基于卷积神经网络（CNN）的多说话人波达方向（DOA）定位方法，该方法在时频域内假设说话人活动互不重叠的前提下，利用合成噪声信号进行训练。该方法在模拟混响和噪声环境中，相比SRP-PHAT方法表现出更低的平均绝对误差，证明了其在极少后处理下的鲁棒性和优越性能。

ABSTRACT

The problem of multi-speaker localization is formulated as a multi-class multi-label classification problem, which is solved using a convolutional neural network (CNN) based source localization method. Utilizing the common assumption of disjoint speaker activities, we propose a novel method to train the CNN using synthesized noise signals. The proposed localization method is evaluated for two speakers and compared to a well-known steered response power method.

研究动机与目标

• 解决在混响和噪声环境中传统方法性能下降的多说话人DOA估计挑战。
• 通过使用合成噪声信号而非真实世界数据，实现大规模深度学习模型在多说话人定位中的训练。
• 利用W-非重叠正交性假设（时频域内活动互不重叠）来有效训练CNN模型，处理混合信号。
• 开发一种数据生成策略，在保持麦克风间相位关系的同时，实现在合成训练数据中多样化DOA组合。
• 在真实且不匹配的声学条件下，与强基线方法SRP-PHAT对比评估该方法的性能。

提出的方法

• 将DOA估计问题建模为具有37个离散DOA类（5°分辨率）的多类多标签分类任务。
• CNN的输入为STFT系数的相位图，表示为M×K矩阵（M个麦克风，K个频带），以保留麦克风间的相位相关性。
• 采用2×1局部滤波器架构，以每频带为单位学习相邻麦克风之间的相位差，增强对DOA的敏感度。
• CNN在最后一层使用Sigmoid激活函数，允许多个DOA预测结果同时出现在每个时间帧，实现多说话人检测。
• 通过将两个具有不同DOA的单说话人噪声信号拼接，并在每个频带内随机打乱时频单元，生成训练数据，以模拟混合且活动互不重叠的信号。
• 随机化处理在每个时频单元内保持麦克风间的相位相干性，并维持频带顺序，确保每个时间帧仅包含一个源的信号。

实验结果

研究问题

• RQ1 在混响和噪声环境中，基于合成噪声信号训练的CNN能否实现鲁棒的多说话人DOA定位？
• RQ2 在时频域内假设W-非重叠正交性，是否能够有效训练CNN模型处理混合信号而无需真实混合数据？
• RQ3 在声学条件不匹配的情况下，该噪声训练的CNN与成熟基线方法SRP-PHAT相比性能如何？
• RQ4 CNN识别多个DOA的能力在多大程度上源于在活动互不重叠条件下对麦克风间相位相关性的学习？
• RQ5 SNR水平变化对CNN定位精度的影响如何，与SRP-PHAT相比有何差异？

主要发现

• 在30 dB SNR条件下，使用合成噪声训练的CNN实现了1.8°的平均绝对误差（MAE），显著优于SRP-PHAT的18.2°。
• 在20 dB SNR条件下，CNN的MAE为6.1°，而SRP-PHAT为21.6°，表明在不同SNR水平下均保持一致的优越性。
• 在10 dB SNR条件下，CNN的MAE为14.3°，而SRP-PHAT为27.1°，证明了CNN在低SNR条件下的鲁棒性。
• CNN的输出分布显示出在真实DOA位置处清晰且尖锐的峰值，而SRP-PHAT的分布则更平坦、缺乏区分度，这解释了性能差距。
• 该方法仅通过帧级后验概率和简单后处理即可成功定位两个声源，无需复杂波束成形或聚类算法。
• 结果表明，由于基于随机化的数据生成方式隐式保持了活动互不重叠特性，CNN能够有效学习从相位差中检测DOA，即使在信号混合时也成立。