[论文解读] On Multitask Loss Function for Audio Event Detection and Localization

Huy Phan, Lam Pham+4 more|arXiv (Cornell University)|Sep 11, 2020

Music and Audio Processing参考文献 16被引用 16

一句话总结

本文提出一种同质均方误差（MSE）损失函数，用于多任务音频事件检测与定位（SELD），将事件检测和波达方向（DOA）估计均建模为回归问题。在DCASE 2020上的实验表明，该方法相比基线模型将联合SELD误差降低了10个百分点，显著提升了所有指标的收敛性与性能。

ABSTRACT

Audio event localization and detection (SELD) have been commonly tackled using multitask models. Such a model usually consists of a multi-label event classification branch with sigmoid cross-entropy loss for event activity detection and a regression branch with mean squared error loss for direction-of-arrival estimation. In this work, we propose a multitask regression model, in which both (multi-label) event detection and localization are formulated as regression problems and use the mean squared error loss homogeneously for model training. We show that the common combination of heterogeneous loss functions causes the network to underfit the data whereas the homogeneous mean squared error loss leads to better convergence and performance. Experiments on the development and validation sets of the DCASE 2020 SELD task demonstrate that the proposed system also outperforms the DCASE 2020 SELD baseline across all the detection and localization metrics, reducing the overall SELD error (the combined metric) by approximately 10% absolute.

研究动机与目标

• 为解决在使用异质损失函数时，多任务音频事件检测与定位（SELD）中出现的欠拟合问题。
• 探究同质损失函数是否能提升联合SELD建模中的训练收敛性与模型泛化能力。
• 评估仅使用MSE损失对检测与定位子任务进行多任务回归建模的性能表现。
• 将所提方法与DCASE 2020基线方法进行对比，后者采用Sigmoid交叉熵（CE）与均方误差（MSE）损失的组合。
• 证明基于统一MSE的建模方法能实现检测与定位指标之间更均衡且更优的性能表现。

提出的方法

• 将声音事件检测（SED）与波达方向（DOA）估计均建模为回归任务，从而避免使用基于分类的Sigmoid交叉熵损失。
• 对两个子任务统一使用单一均方误差（MSE）损失函数，确保训练过程中优化的一致性。
• 采用CRNN架构，结合双向GRU与自注意力机制，以建模时频表示中的时序与上下文依赖关系。
• 将大小为 $ T \times F \times C $ 的输入谱图通过六层卷积层处理，每层均包含批归一化与ReLU激活，随后通过最大池化降低空间维度。
• 在首个卷积模块后应用一个5×2的最大池化层，以将时间维度下采样至与100ms评估帧率一致。
• 在GRU编码的序列上应用自注意力机制，以增强每个时间帧周围的上下文建模能力。

实验结果

研究问题

• RQ1 在联合训练中，将异质损失函数（分类任务使用Sigmoid交叉熵，回归任务使用MSE）组合是否会导致SED子任务出现欠拟合？
• RQ2 与混合损失策略相比，对SED与DOA估计均采用同质MSE损失是否能提升模型收敛性与性能表现？
• RQ3 所提多任务回归模型在检测与定位准确率方面与DCASE 2020基线方法相比表现如何？
• RQ4 损失权重不平衡对联合SELD模型优化动态有何影响？
• RQ5 仅使用基于回归的损失函数是否能带来更好的泛化能力，并实现检测与定位指标之间的更均衡性能？

主要发现

• 与标准的CE+MSE组合相比，对SED与DOA估计均采用同质MSE损失，显著提升了收敛性并减少了欠拟合现象。
• 所提模型在开发集与测试集上相比DCASE 2020基线，整体SELD误差均降低了约10个百分点。
• 在开发集上，与基线相比，SELD误差绝对降低0.08（FOA）与0.11（MIC）。
• 在测试集上，误差降低达到0.11（FOA）与0.09（MIC），展现出一致的性能提升。
• 在同质MSE损失下，SED子任务的性能显著提升，而DOA估计性能与基线相比保持相当。
• 尽管模型结构紧凑，未依赖集成方法或多麦克风阵列，该模型在DCASE 2020任务3挑战中仍取得第6名的排名。