[论文解读] The SPHERE Challenge: Activity Recognition with Multimodal Sensor Data

Niall Twomey, Tom Diethe+9 more|arXiv (Cornell University)|Mar 2, 2016

Context-Aware Activity Recognition Systems被引用 4

一句话总结

本论文介绍了SPHERE挑战赛，这是一项基于住宅智能家庭环境中加速度计、RGB-D视频和环境传感器数据的多模态活动识别竞赛。该竞赛通过加权Brier评分评估模型对20种姿势、行走及过渡活动的预测表现，优胜者将获得奖金，并需在ECML-PKDD研讨会进行展示。

ABSTRACT

This paper outlines the Sensor Platform for HEalthcare in Residential Environment (SPHERE) project and details the SPHERE challenge that will take place in conjunction with European Conference on Machine Learning and Principles and Practice of Knowledge Discovery (ECML-PKDD) between March and July 2016. The SPHERE challenge is an activity recognition competition where predictions are made from video, accelerometer and environmental sensors. Monetary prizes will be awarded to the top three entrants, with Euro 1,000 being awarded to the winner, Euro 600 being awarded to the first runner up, and Euro 400 being awarded to the second runner up.

研究动机与目标

• 开发适用于真实住宅环境中医疗监测的鲁棒多模态活动识别系统。
• 评估机器学习模型从融合传感器数据中预测20种不同姿势、行走及过渡活动的表现。
• 实现长期行为模式分析，以支持慢性疾病和运动功能衰退的临床监测。
• 提供一个标准化基准数据集，包含同步的加速度计、深度视频和PIR传感器数据，以供研究使用。
• 通过设有奖金的竞赛形式，推动传感器融合与时间建模方面的创新。

提出的方法

• 该挑战赛使用来自单个SPHERE智能家庭系统的多模态数据集，包含20个标注的活动类别。
• 加速度计数据以前置3D加速度格式以20 Hz的采样率提供，同时包含来自四个接入点的信号强度（RSSI）。
• 视频数据已预处理为检测到人员的2D和3D边界框特征，通过不发布原始视频来保护隐私。
• 被动红外（PIR）传感器提供带时间戳和传感器位置的原始激活事件。
• 数据集分为两个阶段：脚本化活动阶段（3月至4月）和自然行为+脚本化数据阶段（4月至7月）。
• 性能通过加权Brier评分进行评估，该评分考虑了类别不平衡和概率预测。

实验结果

研究问题

• RQ1 多模态传感器融合在住宅智能家庭环境中能否显著提升实时活动识别的准确性？
• RQ2 加速度计、深度视频和环境传感器数据对活动识别性能的相对贡献分别是什么？
• RQ3 模型在真实环境中从脚本化行为泛化到自然行为的能力如何？
• RQ4 概率模型在类别不平衡的活动类别中能在多大程度上提升预测的可靠性？
• RQ5 人类运动中区分姿势、行走和过渡活动的关键时空模式是什么？

主要发现

• SPHERE挑战赛提供了一个大规模的真实世界数据集，包含来自住宅智能家庭环境的同步多模态传感器数据。
• 该数据集包含20个不同的活动标签，分为行走（a_）、静态姿势（p_）和过渡（t_）三类，支持精细化的行为分析。
• 原始视频未被发布；取而代之的是提取了3D质心和边界框特征，以保护参与者隐私。
• 挑战赛采用两阶段评估协议：首先评估脚本化活动，随后评估增强后的自然行为数据，更贴近真实世界部署场景。
• 性能通过加权Brier评分进行评估，该评分更注重可靠的概率预测而非简单准确率。
• 优胜团队分别获得1000欧元（第1名）、600欧元（第2名）和400欧元（第3名）奖金，并需强制参加相关ECML-PKDD研讨会。