[论文解读] Western Mediterranean wetlands bird species classification: evaluating small-footprint deep learning approaches on a new annotated dataset

Juan Gómez-Gómez, Ester Vidaña-Vila+1 more|arXiv (Cornell University)|Jul 12, 2022

Animal Vocal Communication and Behavior被引用 7

一句话总结

本论文评估了小型参数量深度学习模型——VGG16、ResNet50 和 MobileNetV2——在西地中海湿地环境中对鸟类物种进行分类的性能，使用的是新创建的包含 5,795 段音频片段的数据库，涵盖 20 种特有物种。MobileNetV2 的 F1 分数达到 0.789，较 ResNet50 的 0.834 低不到 5%，同时将模型尺寸减少了近 40 倍，因此非常适合资源受限的生物声学监测设备。

ABSTRACT

The deployment of an expert system running over a wireless acoustic sensors network made up of bioacoustic monitoring devices that recognise bird species from their sounds would enable the automation of many tasks of ecological value, including the analysis of bird population composition or the detection of endangered species in areas of environmental interest. Endowing these devices with accurate audio classification capabilities is possible thanks to the latest advances in artificial intelligence, among which deep learning techniques excel. However, a key issue to make bioacoustic devices affordable is the use of small footprint deep neural networks that can be embedded in resource and battery constrained hardware platforms. For this reason, this work presents a critical comparative analysis between two heavy and large footprint deep neural networks (VGG16 and ResNet50) and a lightweight alternative, MobileNetV2. Our experimental results reveal that MobileNetV2 achieves an average F1-score less than a 5\% lower than ResNet50 (0.789 vs. 0.834), performing better than VGG16 with a footprint size nearly 40 times smaller. Moreover, to compare the models, we have created and made public the Western Mediterranean Wetland Birds dataset, consisting of 201.6 minutes and 5,795 audio excerpts of 20 endemic bird species of the Aiguamolls de l'Empordà Natural Park.

研究动机与目标

• 开发并评估适用于在电池供电、资源受限的无线声学传感器网络中部署的小型参数量深度学习模型，用于生态监测。
• 解决在真实生物声学应用中部署高精度音频分类的挑战，其中模型大小和推理效率至关重要。
• 创建并发布一个全新的公开数据集，包含 201.6 分钟的标注鸟类鸣叫声，来自 20 种西地中海特有鸟类。
• 在准确率、推理速度和模型大小方面，对比重型模型（VGG16、ResNet50）与轻量化架构（MobileNetV2）的性能表现。

提出的方法

• 本研究采用对比评估方法，对三种深度神经网络（VGG16、ResNet50 和 MobileNetV2）进行评估，所有模型均在新收集的鸟类鸣叫数据集上进行微调。
• 音频数据通过基于频谱图的表示方法进行预处理，使用梅尔频谱图作为深度学习模型的输入特征。
• 采用迁移学习方法，使用 ImageNet 预训练权重，并在西地中海湿地鸟类数据集上进行微调，以实现物种分类。
• 使用 F1 分数评估模型性能，重点关注各类别平均 F1 分数，以评估 20 种鸟类物种之间的性能平衡性。
• 通过参数数量和模型大小（以 MB 计）量化模型体积，强调其在嵌入式部署中的效率。
• 创建并公开发布了一个新数据集，包含来自埃普尔多拉自然公园西地中海湿地的 20 种特有鸟类的 5,795 段音频片段。

实验结果

研究问题

• RQ1 轻量化深度学习模型是否能在真实西地中海湿地环境中实现对鸟类物种的高分类准确率，同时保持极小的模型体积，适合嵌入式部署？
• RQ2 在该特定生物声学数据集上，MobileNetV2 与 VGG16 和 ResNet50 等更大模型相比，在 F1 分数和模型大小方面表现如何？
• RQ3 在低功耗无线声学传感器网络上部署深度学习模型时，模型准确率与计算效率之间的权衡如何？
• RQ4 所提出的数据集在多大程度上支持小型参数量模型在生物多样性监测中对鸟类物种分类的训练与评估？

主要发现

• MobileNetV2 的平均 F1 分数为 0.789，较 ResNet50 的 0.834 低不到 5%，表明其在显著降低复杂度的同时仍具备出色的性能。
• 尽管体积更小，MobileNetV2 在 F1 分数和模型体积方面均优于 VGG16，其模型大小仅为 VGG16 的近 40 分之一。
• 所提出的西地中海湿地鸟类数据集包含 5,795 段音频片段，总时长达 201.6 分钟，涵盖 20 种特有鸟类，适用于小型参数量模型的基准测试。
• ResNet50 达到了最高的 F1 分数（0.834），但其庞大的模型尺寸限制了其在低资源平台上的可部署性。
• MobileNetV2 在准确率与模型效率之间实现了最佳平衡，使其成为生态监测系统中实时、设备端推理的理想选择。
• 本研究证明，轻量化模型可在专业生物声学任务中实现接近最先进水平的性能，从而支持在偏远地区、电池供电的传感器网络中实现可扩展部署。