[论文解读] ToxTrac: a fast and robust software for tracking organisms

Alvaro Rodriquez, Hanqing Zhang+4 more|arXiv (Cornell University)|Jun 8, 2017

Species Distribution and Climate Change参考文献 5被引用 27

一句话总结

ToxTrac 是一款开源、快速且鲁棒的软件，用于在实验室环境中对多种生物（如昆虫、鱼类、啮齿动物）进行自动化视频追踪。它支持在标准台式机硬件上实现每秒超过25帧的实时高速追踪（HD视频），具备内置摄像头标定、畸变校正功能，并能稳健处理遮挡问题，同时以多种格式导出详细的运动行为统计数据和热力图。

ABSTRACT

1. Behavioral analysis based on video recording is becoming increasingly popular within research fields such as; ecology, medicine, ecotoxicology, and toxicology. However, the programs available to analyze the data, which are; free of cost, user-friendly, versatile, robust, fast and provide reliable statistics for different organisms (invertebrates, vertebrates and mammals) are significantly limited. 2. We present an automated open-source executable software (ToxTrac) for image-based tracking that can simultaneously handle several organisms monitored in a laboratory environment. We compare the performance of ToxTrac with current accessible programs on the web. 3. The main advantages of ToxTrac are: i) no specific knowledge of the geometry of the tracked bodies is needed; ii) processing speed, ToxTrac can operate at a rate >25 frames per second in HD videos using modern desktop computers; iii) simultaneous tracking of multiple organisms in multiple arenas; iv) integrated distortion correction and camera calibration; v) robust against false positives; vi) preservation of individual identification if crossing occurs; vii) useful statistics and heat maps in real scale are exported in: image, text and excel formats. 4. ToxTrac can be used for high speed tracking of insects, fish, rodents or other species, and provides useful locomotor information. We suggest using ToxTrac for future studies of animal behavior independent of research area. Download ToxTrac here: https://toxtrac.sourceforge.io

研究动机与目标

• 解决行为研究中缺乏免费、用户友好且鲁棒的软件来追踪多种生物的问题。
• 开发一种解决方案，支持在无需预先了解身体几何形态的情况下，同时追踪多个实验区域中的多个动物。
• 确保在真实实验环境中（包括遮挡和光照变化）具备高速度和高可靠性。
• 将摄像头标定和畸变校正直接集成到追踪流程中，以提高精度。
• 提供全面、实时的行为统计数据和可视化结果（如热力图），并以标准格式（图像、文本、Excel）导出。

提出的方法

• 利用计算机视觉算法实现实时视频序列中的目标检测与追踪。
• 采用背景减去技术结合斑点追踪方法，识别并跟踪单个生物体。
• 通过标定板或已知参考点实现自动摄像头标定和镜头畸变校正。
• 应用鲁棒的追踪框架，在短暂遮挡或个体交叉时仍能保持身份识别。
• 采用动态阈值和形态学滤波方法，减少误报并提升追踪稳定性。
• 以多种格式导出处理后的数据，包括图像叠加图、文本日志和包含空间与时间统计信息的Excel文件。

实验结果

研究问题

• RQ1 单一软件工具是否能够高效且准确地实现实时追踪多种不同物种（无脊椎动物、脊椎动物、哺乳动物）？
• RQ2 在标准实验室条件下，ToxTrac 与现有开源追踪工具相比，在速度和准确性方面表现如何？
• RQ3 ToxTrac 在遮挡或近距离相互作用期间，能够在多大程度上维持个体身份识别？
• RQ4 集成的摄像头标定与畸变校正在无需人工设置的情况下，对提升追踪精度的效果如何？
• RQ5 ToxTrac 是否能够直接从原始视频数据生成可靠且用户友好的行为统计数据和可视化结果（如热力图）？

主要发现

• ToxTrac 在标准台式机硬件上，使用HD视频可实现每秒超过25帧的实时追踪。
• 该软件无需预先了解身体形状或几何结构，即可在多个实验区域中同时追踪多个生物体。
• ToxTrac 在处理误报以及在个体交叉或遮挡期间保持身份识别方面表现出鲁棒性能。
• 集成的摄像头标定与畸变校正显著提升了追踪精度，且无需用户干预。
• 系统可可靠地以图像、文本和Excel格式导出行为数据，包括运动指标和热力图，便于后续分析。
• 在速度、鲁棒性和跨多种物种及实验设置的通用性方面，ToxTrac 优于现有开源工具。