[论文解读] Workshop Report: Detection and Classification in Marine Bioacoustics with Deep Learning

Fábio Frazão, Bruno Padovese+1 more|arXiv (Cornell University)|Feb 18, 2020

Underwater Acoustics Research被引用 9

一句话总结

本工作坊报告综合了海洋生物声学与深度学习专家的意见，探讨了使用深度神经网络（特别是卷积神经网络在频谱图数据上的应用）检测和分类海洋动物发声的方法。主要贡献包括：针对数据高效训练的建议、轻量化可部署模型的设计、公共数据共享机制，以及基于图形用户界面（GUI）的工具，以实现非程序员对深度学习的普及化使用。

ABSTRACT

On 21-22 November 2019, about 30 researchers gathered in Victoria, BC, Canada, for the workshop "Detection and Classification in Marine Bioacoustics with Deep Learning" organized by MERIDIAN and hosted by Ocean Networks Canada. The workshop was attended by marine biologists, data scientists, and computer scientists coming from both Canadian coasts and the US and representing a wide spectrum of research organizations including universities, government (Fisheries and Oceans Canada, National Oceanic and Atmospheric Administration), industry (JASCO Applied Sciences, Google, Axiom Data Science), and non-for-profits (Orcasound, OrcaLab). Consisting of a mix of oral presentations, open discussion sessions, and hands-on tutorials, the workshop program offered a rare opportunity for specialists from distinctly different domains to engage in conversation about deep learning and its promising potential for the development of detection and classification algorithms in underwater acoustics. In this workshop report, we summarize key points from the presentations and discussion sessions.

研究动机与目标

• 利用深度学习解决检测和分类海洋动物发声的挑战，以支持保护与监测工作。
• 通过利用能够直接从原始数据或频谱图表示中学习的深度神经网络，克服传统机器学习方法的局限性。
• 通过多样化、高方差的训练数据集和数据增强技术，提升模型的泛化能力和性能。
• 通过图形用户界面（GUI）工作流，使非专业用户能够自定义训练和部署检测模型，减少对编程的依赖。
• 通过开放平台、云基础设施和标准化格式，推动社区范围内的数据与软件共享，以加速研究进展和实现互操作性。

提出的方法

• 采用卷积神经网络（CNNs）处理水下声学信号的频谱图表示，用于分类和检测任务。
• 利用迁移学习和特征可迁移性，将针对某一物种或数据集训练的模型，适配到新任务中，尤其适用于数据量有限的场景。
• 实施数据增强技术，以增加数据集的方差，提升模型泛化能力，而无需大规模数据采集。
• 开发轻量化、低功耗的深度学习模型，适用于计算资源受限的现场仪器部署。
• 集成基于图形用户界面的训练工作流，使非程序员能够根据特定研究需求和本地声学环境自定义模型。
• 利用云计算和去中心化存储（例如通过谷歌的AI for Social Good）管理大规模声学数据集，实现可扩展的分析。

实验结果

研究问题

• RQ1 在缺乏大规模标注数据集的背景下，如何提升深度学习模型在海洋生物声学中的数据效率？
• RQ2 哪些网络架构与训练策略能够提升模型在多样化海洋物种和环境条件下的泛化能力？
• RQ3 如何设计轻量化深度学习模型，以实现实时部署于低功耗现场仪器？
• RQ4 图形用户界面在帮助非专业研究人员训练和使用自定义检测模型方面发挥什么作用？
• RQ5 如何通过公共数据共享和社区平台加速海洋生物声学研究与模型开发的进展？

主要发现

• 深度学习模型，特别是应用于频谱图的卷积神经网络，在分类和检测须鲸类发声（如北大西洋 right whale 的 upcall）方面已达到人类水平性能。
• 模型性能不仅受数据集大小影响，更显著受益于训练数据的高方差，从而提升对未见条件的泛化能力。
• 展示了两种互补的模型设计方法：一种侧重计算效率（如 DenseNet），另一种侧重利用高性能计算实现最高精度（如 Mask R-CNN）。
• 通过 Orcasound 和 NOAA 的 HARP 归档等平台进行公共数据共享——借助云基础设施支持——可实现可扩展的数据存储和协作式数据集构建。
• 通过插件形式将深度学习工具集成到 Pamguard 和 RavenPro 等现有软件中是可行的，可提升互操作性，并促进在实际应用场景中的采用。
• 开源工具包如 VIAME 展示了基于 GUI 的机器学习训练的可行性，为实现生物声学领域深度学习的普及化提供了可行路径。