[论文解读] Weakly-Supervised Classification and Detection of Bird Sounds in the Wild. A BirdCLEF 2021 Solution

Marcos V. Conde, Kumar Shubham+3 more|arXiv (Cornell University)|Jul 10, 2021

Animal Vocal Communication and Behavior被引用 6

一句话总结

本论文提出了一套弱监督深度学习流水线，用于在复杂声音景观中进行细粒度鸟类鸣叫声分类与检测，通过集成模型、概率校准和基于地点的过滤技术，在 BirdCLEF 2021 挑战赛中取得第10名（公开排行榜 F1 得分为 0.7801，私有排行榜 F1 得分为 0.6738）。该方法利用元数据和置信度校准，提升了对背景噪声的鲁棒性，并实现了在不同地理区域间的良好泛化能力。

ABSTRACT

It is easier to hear birds than see them, however, they still play an essential role in nature and they are excellent indicators of deteriorating environmental quality and pollution. Recent advances in Machine Learning and Convolutional Neural Networks allow us to detect and classify bird sounds, by doing this, we can assist researchers in monitoring the status and trends of bird populations and biodiversity in ecosystems. We propose a sound detection and classification pipeline for analyzing complex soundscape recordings and identify birdcalls in the background. Our pipeline learns from weak labels, classifies fine-grained bird vocalizations in the wild, and is robust against background sounds (e.g., airplanes, rain, etc). Our solution achieved 10th place of 816 teams at the BirdCLEF 2021 Challenge hosted on Kaggle.

研究动机与目标

• 开发一种鲁棒的弱监督系统，用于在真实世界、嘈杂的声音景观中检测和分类细粒度的鸟类鸣叫声。
• 解决从长音频记录中以有限监督方式对 397 种鸟类进行分类的挑战。
• 通过使用地理位置和稀有度元数据，提升模型在不同地理区域（如哥伦比亚、哥斯达黎加、美国）的泛化能力。
• 通过基于地点的鸟类分布和混淆模式信息的后处理过滤，减少假阳性和假阴性。
• 在 BirdCLEF 2021 基准测试中实现最先进性能，且对强标注数据的依赖最小化。

提出的方法

• 在弱标签音频数据上训练基于梅尔频谱图作为输入特征的深度卷积神经网络（CNN）集成模型。
• 应用基于时间序列的概率校准（PC），通过利用片段级别和邻近帧的统计信息，优化预测置信度。
• 通过哈弗辛距离实现基于地点的过滤机制，将预测限制在特定录音位置可能存在的物种范围内。
• 提出一种假阴性减少策略，通过识别并降低最常被误分类为“nocall”（无鸣叫）的鸟类的权重。
• 使用假阳性减少过滤器，移除在录音地理位置未发现的物种预测。
• 将模型集成、校准后的概率与基于元数据的过滤相结合，生成测试集的最终预测结果。

实验结果

研究问题

• RQ1 弱监督深度学习模型如何在复杂真实声音景观中有效适应细粒度鸟类物种分类？
• RQ2 地理元数据（纬度、经度）在多大程度上能提升鸣叫识别的检测性能并减少假阳性？
• RQ3 概率校准技术是否能显著提升弱监督音频分类任务中的 F1 得分？
• RQ4 后处理过滤在减少因模型与“nocall”类别混淆导致的假阴性方面有多有效？
• RQ5 统一的流水线能否在具有不同鸟类种类和背景噪声特征的多样化录音地点间实现良好泛化？

主要发现

• 最终集成模型结合概率校准与过滤后，在公开排行榜上取得 F1 得分为 0.7801，在私有排行榜上得分为 0.6738，位列 BirdCLEF 2021 中 816 支队伍的第10名。
• 概率校准使在鸣叫片段上的交叉验证 F1 得分相比基线模型提升了 +0.07。
• 引入基于地点的信息后，通过过滤掉录音地理区域中不存在的物种，显著减少了假阳性。
• 假阴性减少策略（针对最常与“nocall”混淆的鸟类）使 CV@0.54 指标提升至 0.7836。
• 与 2020 年康奈尔鸟类鸣叫识别挑战赛的冠军解决方案相比，本模型在公开排行榜上提升了 +0.035，在私有排行榜上提升了 +0.018。
• 该流水线在四个不同地理区域（COL、COR、SNE、SSW）均表现出强泛化能力，表明对区域声学特征和物种差异具有鲁棒性。