[论文解读] The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions

Jennifer J. Sun, Tomomi Karigo+9 more|PubMed|Apr 6, 2021

Zebrafish Biomedical Research Applications参考文献 81被引用 33

一句话总结

介绍 CalMS21，这是一个用于逐帧行为分类的大型小鼠社交互动数据集，包含无标签数据、跨注释者风格迁移，以及少样本学习任务，并附带基线基准。

ABSTRACT

Multi-agent behavior modeling aims to understand the interactions that occur between agents. We present a multi-agent dataset from behavioral neuroscience, the Caltech Mouse Social Interactions (CalMS21) Dataset. Our dataset consists of trajectory data of social interactions, recorded from videos of freely behaving mice in a standard resident-intruder assay. To help accelerate behavioral studies, the CalMS21 dataset provides benchmarks to evaluate the performance of automated behavior classification methods in three settings: (1) for training on large behavioral datasets all annotated by a single annotator, (2) for style transfer to learn inter-annotator differences in behavior definitions, and (3) for learning of new behaviors of interest given limited training data. The dataset consists of 6 million frames of unlabeled tracked poses of interacting mice, as well as over 1 million frames with tracked poses and corresponding frame-level behavior annotations. The challenge of our dataset is to be able to classify behaviors accurately using both labeled and unlabeled tracking data, as well as being able to generalize to new settings.

研究动机与目标

• 提供一个大型、公开的基准数据集，用于小鼠社交互动的逐帧行为分类。
• 使能够使用带标注数据进行训练、在注释者之间实现风格迁移，以及对新行为进行少样本学习。
• 鼓励使用无标签数据进行自监督与无监督表示学习。
• 评估基线模型并公布挑战结果，以推动神经科学中多主体行为分析。

提出的方法

• 释放600万无标签帧和超过100万带逐帧注释的有标签帧。
• 每只小鼠由 MARS 检测的七个姿态关键点，产生每帧28维姿态数据。
• 定义三个任务：任务1 对三种行为的经典有监督分类，任务2 跨注释者的注释风格迁移，任务3 以有限数据学习新行为。
• 评估基线序列模型（1D CNN、LSTM、全连接、自注意力）在逐帧行为标签上的表现。
• 将任务编程（来自无标签数据的无监督特征学习）整合以增强有监督分类器。
• 展示 MABe Challenge 2021 中任务1和任务2的最佳提交。

实验结果

研究问题

• RQ1 模型如何从小鼠的姿态轨迹中对逐帧社交行为进行分类？
• RQ2 注释者风格如何影响行为标注，模型是否能够跨注释者迁移？
• RQ3 是否能够利用无标签数据进行表示学习，从有限带标注数据中学习新、未见过的行为？
• RQ4 通过自监督学习引入无标签数据是否能提升有监督行为分类？

主要发现

• 1D卷积神经网络在任务1的基线架构中取得最高性能（平均F1：0.793，MAP：0.856）。
• 来自无标签数据的任务编程特征提升了任务1的基线性能。
• MABe 2021 的任务1头号提交取得的指标高于基线（平均F1 0.864，MAP 0.914）。
• 任务2结果表明，在注释者嵌入和预训练的任务1模型下，可实现注释风格迁移。
• 任务3结果显示在七种新行为上的少样本学习存在挑战，性能取决于行为流行度和持续时长。
• 数据集包含大量无标签数据（约六百万帧），以支持无监督或自监督学习。