[论文解读] Relax, it doesn't matter how you get there: A new self-supervised approach for multi-timescale behavior analysis

Mehdi Azabou, Michael Mendelson+5 more|arXiv (Cornell University)|Mar 15, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了一种自监督的多时标表征学习框架——跨多尺度自举（Bootstrap Across Multiple Scales, BAMS），该框架为短期和长期行为动态分别使用独立的潜在空间。通过预测未来的动作分布而非动作序列，并采用仅依赖正样本的潜在预测损失进行训练，BAMS在MABe 2022基准测试中取得最先进性能，整体排名第一，并在所有序列级任务中排名第一。

ABSTRACT

Natural behavior consists of dynamics that are complex and unpredictable, especially when trying to predict many steps into the future. While some success has been found in building representations of behavior under constrained or simplified task-based conditions, many of these models cannot be applied to free and naturalistic settings where behavior becomes increasingly hard to model. In this work, we develop a multi-task representation learning model for behavior that combines two novel components: (i) An action prediction objective that aims to predict the distribution of actions over future timesteps, and (ii) A multi-scale architecture that builds separate latent spaces to accommodate short- and long-term dynamics. After demonstrating the ability of the method to build representations of both local and global dynamics in realistic robots in varying environments and terrains, we apply our method to the MABe 2022 Multi-agent behavior challenge, where our model ranks 1st overall and on all global tasks, and 1st or 2nd on 7 out of 9 frame-level tasks. In all of these cases, we show that our model can build representations that capture the many different factors that drive behavior and solve a wide range of downstream tasks.

研究动机与目标

• 为解决在标注稀缺的自然场景中建模复杂、多时标的动态行为的挑战。
• 开发一种自监督表征学习方法，以同时捕捉细粒度的短期动态和全局的长期行为模式。
• 在多种行为分析任务中实现鲁棒的下游任务性能，包括帧级和序列级预测。
• 克服现有对比或重建方法的局限性，这些方法过于聚焦局部动态，或难以解耦时标。

提出的方法

• 该方法采用两个具有不同感受野的时序卷积网络，分别在独立的短期和长期潜在空间中学习表征。
• 提出一种新颖的动作预测目标，用于预测未来时间步的动作分布，而非预测精确的动作序列。
• 模型采用基于自举的自监督训练方案，仅依赖各时标内的正样本，避免了负样本的需求。
• 在表征空间中应用预测回归损失，以对齐预测的动作分布与真实未来动作分布。
• 该架构通过解耦时标特定的动态，保留各空间内的粒度，从而支持长序列处理。
• 该方法在每个时标内使用类似对比的损失进行端到端训练，但无需负样本对，从而实现对长序列的可扩展性。

实验结果

研究问题

• RQ1 自监督模型是否能在无显式监督的情况下，学习到短期与长期行为动态的解耦表征？
• RQ2 与序列预测相比，预测未来动作分布是否能更好地建模复杂、多时标的动态行为？
• RQ3 该模型是否能在无需任务特定微调的情况下，泛化到包括帧级和序列级预测在内的多样化行为任务？
• RQ4 为不同时间尺度分离潜在空间，对涉及全局行为模式的下游任务性能有何影响？

主要发现

• 在MABe 2022多智能体行为挑战中，该模型整体排名第一，在全部4项序列级任务中排名第一，并在全部9项帧级任务中位列前三。
• 在解码小鼠品系的序列级任务中，该模型相较于第二名方法表现出10%的性能差距，展现出强大的全局表征学习能力。
• 在合成四足机器人环境中，该模型无需显式监督即可成功捕捉机器人的形态特性与地形动态。
• 该方法优于现有对比和重建方法，在保持细粒度时间动态的同时，也有效建模了长期行为结构。
• 由于训练中无需负样本，该模型能够处理比典型对比方法更长的序列，显著提升了可扩展性。