[论文解读] Predicting the long-term collective behaviour of fish pairs with deep learning

Vaios Papaspyros, Ramón Escobedo+4 more|arXiv (Cornell University)|Feb 14, 2023

Animal Vocal Communication and BehaviorBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出一种基于长短期记忆（LSTM）神经网络的深度学习模型，用于预测鱼对（Hemigrammus rhodostomus）在圆形水箱中长期集体行为，通过在实验轨迹上进行端到端训练，该模型在捕捉短期与长期动态方面优于当前最先进的分析模型。通过引入时间上下文和通过学习噪声反映的行为变异性，该模型在复现自发转向、协调运动及与壁面相互作用方面表现出高保真度。

ABSTRACT

Modern computing has enhanced our understanding of how social interactions shape collective behaviour in animal societies. Although analytical models dominate in studying collective behaviour, this study introduces a deep learning model to assess social interactions in the fish species Hemigrammus rhodostomus. We compare the results of our deep learning approach to experiments and to the results of a state-of-the-art analytical model. To that end, we propose a systematic methodology to assess the faithfulness of a collective motion model, exploiting a set of stringent individual and collective spatio-temporal observables. We demonstrate that machine learning models of social interactions can directly compete with their analytical counterparts in reproducing subtle experimental observables. Moreover, this work emphasises the need for consistent validation across different timescales, and identifies key design aspects that enable our deep learning approach to capture both short- and long-term dynamics. We also show that our approach can be extended to larger groups without any retraining, and to other fish species, while retaining the same architecture of the deep learning network. Finally, we discuss the added value of machine learning in the context of the study of collective motion in animal groups and its potential as a complementary approach to analytical models.

研究动机与目标

• 开发一种机器学习模型，以准确预测鱼对的长期集体行为，超越短期运动模式。
• 将深度学习方法与当前最先进的分析模型进行基准对比，用于动物群体社会互动推断。
• 识别关键设计要素——如时间上下文与输出变异性——以使深度学习能够捕捉集体运动中的短期与长期动态。
• 验证模型在具有相似突发-滑行游泳模式的其他鱼类物种（如斑马鱼，Danio rerio）中的泛化能力。
• 建立系统性方法，利用严格可观测量在多个时间尺度上评估模型的保真度。

提出的方法

• 使用长短期记忆（LSTM）单元的深度神经网络，基于鱼对的实验轨迹进行端到端训练，以根据当前状态和邻近交互预测下一步加速度矢量（μx^{n+1}, μy^{n+1}）。
• 模型输入包括位置、速度、与邻近鱼的距离以及与水箱壁的距离，时间窗口为4–5个时间步长（0.48–0.6秒），覆盖鱼类踢动的典型持续时间。
• 网络为概率性模型，包含学习到的噪声以反映行为不确定性，避免人工或现象学噪声注入。
• 进行了82种网络架构的自动化超参数搜索，调整深度、宽度和激活函数，最终模型基于在短期与长期可观测量上的最优性能被选定。
• 通过一组严格可观测量（包括速度相关性、转向速率和集体对齐度）在多个时间尺度上对模型进行评估。
• 该方法已扩展至斑马鱼（D. rerio），证明其可扩展至具有相似运动模式的其他鱼类物种。

Figure 1: Probability density functions (PDF) of observables characterizing individual behavior: A Speed $V$ , B distance to the wall $r_{\rm w}$ , and C angle of incidence to the wall $\theta_{\rm w}$ . Black lines: experimental fish data. Blue lines: agents of the Analytical Burst-and-Coast model

实验结果

研究问题

• RQ1 基于实验轨迹训练的深度学习模型能否准确预测鱼对的短期与长期集体动态？
• RQ2 哪些架构与设计选择（如记忆机制、时间上下文与输出变异性）对于捕捉长期行为模式至关重要？
• RQ3 与当前最先进的分析模型相比，深度学习模型在复现实验集体运动方面表现如何？
• RQ4 该训练模型在多大程度上可泛化至具有相似突发-滑行游泳行为的其他鱼类物种？
• RQ5 在不同时间尺度上，哪些可观测量最能有效验证模型的保真度？

主要发现

• 带有LSTM层的深度学习模型在预测长期集体动态方面优于分析模型，包括协调转向与对齐行为，这一结果在多个可观测量上得到验证。
• 该模型在复现鱼类自发转向行为方面表现出高精度，而该行为对群体协调与捕食者规避至关重要。
• 时间上下文（4–5个时间步长）对于捕捉鱼类踢动与滑行阶段的时序至关重要，更长的时间窗口未带来显著改进。
• 模型在训练过程中学习到的输出多样性成功捕捉了行为变异性，无需人工噪声注入，其表现优于采用固定或现象学噪声的模型。
• 该模型可泛化至斑马鱼（D. rerio），证明其在具有相似运动模式的物种间具备可扩展性。
• 自动化超参数搜索表明，具有记忆机制（LSTM）的概率网络在长期预测中始终优于非概率与无记忆变体。

Figure 2: Probability density functions (PDF) of observables characterizing collective behavior: A Distance between individuals $d_{ij}$ , B difference in heading angles $\phi_{ij}$ , and C angle of perception of the geometrical leader and follower $\psi_{ij}$ . Black lines: experimental fish data.