[论文解读] Towards Continual Egocentric Activity Recognition: A Multi-modal Egocentric Activity Dataset for Continual Learning

Linfeng Xu, Qingbo Wu+7 more|arXiv (Cornell University)|Jan 26, 2023

Human Pose and Action Recognition参考文献 60被引用 4

一句话总结

本论文提出了 UESTC-MMEA-CL，一个新颖的多模态第一人称活动数据集，结合了 10 名参与者执行 32 种日常活动的 RGB 视频、加速度计和陀螺仪数据。该数据集支持第一人称活动识别中的持续学习研究，表明基于样本的方法（如 iCaRL）能显著减少灾难性遗忘——在 RGB+Acc+Gyro 融合下实现 77.8% 的平均准确率；而仅使用传感器的模态在无样本的情况下性能严重下降。

ABSTRACT

With the rapid development of wearable cameras, a massive collection of egocentric video for first-person visual perception becomes available. Using egocentric videos to predict first-person activity faces many challenges, including limited field of view, occlusions, and unstable motions. Observing that sensor data from wearable devices facilitates human activity recognition, multi-modal activity recognition is attracting increasing attention. However, the deficiency of related dataset hinders the development of multi-modal deep learning for egocentric activity recognition. Nowadays, deep learning in real world has led to a focus on continual learning that often suffers from catastrophic forgetting. But the catastrophic forgetting problem for egocentric activity recognition, especially in the context of multiple modalities, remains unexplored due to unavailability of dataset. In order to assist this research, we present a multi-modal egocentric activity dataset for continual learning named UESTC-MMEA-CL, which is collected by self-developed glasses integrating a first-person camera and wearable sensors. It contains synchronized data of videos, accelerometers, and gyroscopes, for 32 types of daily activities, performed by 10 participants. Its class types and scale are compared with other publicly available datasets. The statistical analysis of the sensor data is given to show the auxiliary effects for different behaviors. And results of egocentric activity recognition are reported when using separately, and jointly, three modalities: RGB, acceleration, and gyroscope, on a base network architecture. To explore the catastrophic forgetting in continual learning tasks, four baseline methods are extensively evaluated with different multi-modal combinations. We hope the UESTC-MMEA-CL can promote future studies on continual learning for first-person activity recognition in wearable applications.

研究动机与目标

• 为解决第一人称活动识别中缺乏多模态、适合持续学习的数据集，特别是整合可穿戴传感器数据与第一人称视频的问题。
• 研究多模态深度学习在第一人称活动识别中灾难性遗忘的表现，尤其是在融合视觉与惯性传感器数据时。
• 评估持续学习策略（如 iCaRL、EWC 和 LwF）在顺序任务学习下对多模态第一人称活动识别的有效性。
• 提供一个基准数据集和基线模型，以加速可穿戴设备中持续、多模态第一人称活动识别的研究。

提出的方法

• 作者开发了一款定制的可穿戴眼镜系统，集成第一人称摄像头与惯性测量单元（IMUs），用于同步采集 RGB 视频、加速度计和陀螺仪数据。
• 该数据集名为 UESTC-MMEA-CL，包含 10 名参与者执行的 32 种日常活动类别，各模态在时间与空间上均实现完全同步。
• 采用中间融合（类似 TBW 的）架构，在共享的深度神经网络中联合学习 RGB、加速度和陀螺仪模态的特征，实现联合表征学习。
• 在顺序任务学习中评估了四种持续学习策略：微调、iCaRL（基于样本）、EWC（参数正则化）和 LwF（知识蒸馏）。
• 对传感器数据进行了统计分析，以验证惯性信号在区分活动模式中的辅助作用。
• 实验采用单模态与多模态组合方式，性能通过平均准确率（A）和遗忘率（F）进行衡量。

实验结果

研究问题

• RQ1 在顺序学习任务时，灾难性遗忘在多模态第一人称活动识别中如何表现？
• RQ2 不同持续学习策略（尤其是基于样本与无样本方法）在多模态设置下，对减少 RGB、加速度计和陀螺仪模态遗忘的缓解程度如何？
• RQ3 与单模态学习相比，多模态融合（RGB + Acc + Gyro）在减少遗忘方面有多有效？
• RQ4 为何仅使用传感器的网络（加速度计与陀螺仪）在持续学习中表现出显著更高的遗忘率和更低的准确率，而 RGB 网络则表现更优？
• RQ5 所提出的 UESTC-MMEA-CL 数据集能否作为未来持续、多模态第一人称活动识别研究的可靠基准？

主要发现

• iCaRL 方法在 RGB+Acc+Gyro 多模态组合上实现了最高的平均准确率 77.8%，遗忘率相对较低，为 33.5%。
• 基于样本的 iCaRL 显著优于无样本方法 EWC 和 LwF，在多模态设置下显著降低了遗忘。
• 仅使用传感器的网络（加速度计与陀螺仪）即使在持续学习下，平均准确率也低于 20%，遗忘率超过 60%。
• RGB+Gyro 组合在 iCaRL 下实现了 77.4% 的平均准确率，优于独立的 RGB 网络（70.4%），并展现出强烈的互补效应。
• 微调方法表现最差，在 RGB+Acc+Gyro 组合上的遗忘率高达 99.0%，凸显了缺乏正则化时灾难性遗忘的严重性。
• 传感器数据的统计分析证实，惯性信号为不同活动类别提供了独特且有用的模式，支持其与视觉数据的融合。