[论文解读] Open-Source Tools for Behavioral Video Analysis: Setup, Methods, and Development

Kevin Luxem, Jennifer J. Sun+6 more|arXiv (Cornell University)|Apr 6, 2022

Neural dynamics and brain function被引用 8

一句话总结

本文全面回顾并提供了一套实用指南，介绍用于行为视频分析的开源工具，重点聚焦姿态估计与行为分类。文中概述了设置流程、最佳实践及社区标准，以实现神经科学与行为学领域中可扩展、可复现且精确的行为量化，强调通过开放共享代码与数据集来加速研究进展。

ABSTRACT

Recently developed methods for video analysis, especially models for pose estimation and behavior classification, are transforming behavioral quantification to be more precise, scalable, and reproducible in fields such as neuroscience and ethology. These tools overcome long-standing limitations of manual scoring of video frames and traditional "center of mass" tracking algorithms to enable video analysis at scale. The expansion of open-source tools for video acquisition and analysis has led to new experimental approaches to understand behavior. Here, we review currently available open-source tools for video analysis and discuss how to set up these methods for labs new to video recording. We also discuss best practices for developing and using video analysis methods, including community-wide standards and critical needs for the open sharing of datasets and code, more widespread comparisons of video analysis methods, and better documentation for these methods especially for new users. We encourage broader adoption and continued development of these tools, which have tremendous potential for accelerating scientific progress in understanding the brain and behavior.

研究动机与目标

• 为首次接触基于视频的行为分析的实验室提供实用指南，涵盖工具选择、设置与实施。
• 推动采用开源工具，以在精度与可扩展性方面超越人工评分与传统追踪方法。
• 倡导在代码与数据共享方面建立全社区范围的标准，以提升可复现性与方法透明度。
• 识别当前实践中的关键缺口，包括方法对比不足及面向初学者的文档不充分。
• 鼓励持续开发并更广泛地整合开源视频分析工具至行为科学领域。

提出的方法

• 系统性回顾现有用于视频采集与分析的开源工具，重点聚焦姿态估计与行为分类模型。
• 提供逐步指导，说明如何设置视频录制与分析流程，包括软硬件推荐。
• 集成基于深度学习的模型（如 OpenPose 与 AlphaPose），用于多动物与单动物姿态估计。
• 实施迁移学习与微调技术，以适应特定物种与实验条件。
• 采用标准化数据格式与元数据，以提升跨实验室的互操作性与可复现性。
• 推广使用版本控制的代码仓库与社区驱动的文档，以支持新用户。

实验结果

研究问题

• RQ1 新接触视频分析的实验室应如何有效设置并部署开源工具用于行为研究？
• RQ2 在基于视频的行为分析中，确保可复现性与可扩展性的关键方法论最佳实践是什么？
• RQ3 神经科学与行为学社区如何改进代码、数据集与基准比较的共享？
• RQ4 当前视频分析方法存在哪些局限性，可通过社区协作以何种方式加以解决？
• RQ5 开源工具在加速理解脑-行为关系方面可发挥哪些作用？

主要发现

• 开源视频分析工具在精度、可扩展性与可复现性方面显著优于人工评分与传统质心追踪方法。
• 采用基于深度学习的姿态估计模型，可实现对多只动物同时复杂行为的精确追踪。
• 标准化数据格式与版本控制的代码仓库对于长期可复现性与协作开发至关重要。
• 当前缺乏广泛、标准化的视频分析方法间基准比较，仍是方法选择与验证的关键障碍。
• 亟需改善文档与社区驱动的教程，以降低行为研究中新用户的技术门槛。
• 开放共享数据集与代码对于加速科学进展及确保整个领域的方法透明度至关重要。