[论文解读] Wildbook: Crowdsourcing, computer vision, and data science for conservation

Tanya Berger‐Wolf, Daniel I. Rubenstein+8 more|arXiv (Cornell University)|Oct 24, 2017

Species Distribution and Climate Change参考文献 28被引用 45

一句话总结

Wildbook 是一个计算机视觉与数据科学平台，利用众包图像通过深度学习识别个体动物，实现自动化种群监测、保护管理及野生动物犯罪预防。该平台已促成肯尼亚政策变更，通过识别狮子捕食为长颈鹿斑马（Grevy’s zebra）幼崽存活率低下的关键威胁，从而加强保护措施。

ABSTRACT

Photographs, taken by field scientists, tourists, automated cameras, and incidental photographers, are the most abundant source of data on wildlife today. Wildbook is an autonomous computational system that starts from massive collections of images and, by detecting various species of animals and identifying individuals, combined with sophisticated data management, turns them into high resolution information database, enabling scientific inquiry, conservation, and citizen science. We have built Wildbooks for whales (flukebook.org), sharks (whaleshark.org), two species of zebras (Grevy's and plains), and several others. In January 2016, Wildbook enabled the first ever full species (the endangered Grevy's zebra) census using photographs taken by ordinary citizens in Kenya. The resulting numbers are now the official species census used by IUCN Red List: http://www.iucnredlist.org/details/7950/0. In 2016, Wildbook partnered up with WWF to build Wildbook for Sea Turtles, Internet of Turtles (IoT), as well as systems for seals and lynx. Most recently, we have demonstrated that we can now use publicly available social media images to count and track wild animals. In this paper we present and discuss both the impact and challenges that the use of crowdsourced images can have on wildlife conservation.

研究动机与目标

• 解决因野外观察有限及侵入式追踪方法导致的濒危物种可靠种群数据严重缺乏的问题。
• 开发可扩展的自动化系统，处理来自游客、研究人员和无人机等多样化来源的异构野生动物图像。
• 通过深度学习与计算机视觉技术，利用独特的自然特征标记（如条纹、斑点、疤痕）实现对个体动物的准确识别。
• 通过提供物种分布、存活率及活动模式的实时数据，支持保护科学研究与政策制定。
• 构建安全、具备隐私意识的基础设施，防止敏感动物位置与身份数据被滥用，同时保障公众与科学界的数据访问。

提出的方法

• 利用深度卷积神经网络（DCNNs）检测并分类非结构化图像中的动物物种。
• 应用计算机视觉技术，基于独特的自然表型标记（如条纹、斑点或缺口）识别个体动物。
• 在集中式、可查询的数据库中存储并管理动物身份、目击元数据（时间、地点）及关联的生态数据。
• 整合气候、栖息地和人类活动等附加数据层，支持多尺度生态分析。
• 通过基于网络的界面与移动应用程序，支持公民科学家与野外研究人员提交和访问图像数据。
• 实施访问控制与隐私协议，防止因数据泄露导致濒危物种遭受盗猎威胁。

实验结果

研究问题

• RQ1 深度学习与计算机视觉能否在多样化物种的非结构化真实照片中准确识别个体动物？
• RQ2 如何大规模聚合与分析众包图像数据，以支持种群层面的保护科学？
• RQ3 Wildbook 在现实世界保护区中能在多大程度上改善保护政策与管理决策？
• RQ4 公民提供的野生动物影像数据存在哪些偏差？这些偏差在生态推断中应如何建模或校正？
• RQ5 Wildbook 是否可作为法医学工具，通过影像证据追踪非法猎杀或走私的动物？

主要发现

• Wildbook 通过识别狮子捕食是肯尼亚莱瓦野生动物保护区长颈鹿斑马幼崽存活率低下的主要原因，促成了政策变更，推动了狮子管理策略的修订。
• 该系统仅凭部分身体图像，成功识别了具有复杂自然标记的物种中的个体动物，包括斑马、鲸鱼和大象。
• 基于 Wildbook 数据推导出的种群估计与活动模式，显著优于传统调查方法，尤其适用于广域分布或隐蔽性强的物种。
• 平台在野生动物犯罪预防方面展现出可行性，可通过影像匹配快速识别被猎杀的动物，即使仅基于尸体或兽皮照片。
• 初步分析揭示了公民提供影像数据中存在显著偏差，包括采样率不均与相机疲劳现象，这些因素必须在分析模型中予以考虑。
• Wildbook 的架构支持整合多源数据（如气候、土地利用、疾病）以实现全面的生态与保护洞察。