[论文解读] Wearable Vision Detection of Environmental Fall Risks using Convolutional Neural Networks

Mina Nouredanesh, A.C. McCormick+2 more|arXiv (Cornell University)|Nov 2, 2016

Video Surveillance and Tracking Methods参考文献 1被引用 3

一句话总结

本文提出一种可穿戴的第一人称视觉系统，采用胸前安装的GoPro相机与卷积神经网络（CNN）结合，用于检测老年人的环境跌倒风险。该系统可分类12种危险类别（如楼梯、路缘石和不平整路面），平均平方误差（MSE）为8%，展现出在日常生活中进行实时跌倒预防检测的潜力。

ABSTRACT

In this paper, a method to detect environmental hazards related to a fall risk using a mobile vision system is proposed. First-person perspective videos are proposed to provide objective evidence on cause and circumstances of perturbed balance during activities of daily living, targeted to seniors. A classification problem was defined with 12 total classes of potential fall risks, including slope changes (e.g., stairs, curbs, ramps) and surfaces (e.g., gravel, grass, concrete). Data was collected using a chest-mounted GoPro camera. We developed a convolutional neural network for automatic feature extraction, reduction, and classification of frames. Initial results, with a mean square error of 8%, are promising.

研究动机与目标

• 开发一种可在日常活动中实时检测老年人环境跌倒风险的可穿戴视觉系统。
• 利用胸前安装的GoPro拍摄的第一人称视角视频，获取与平衡扰动相关的客观数据。
• 对12种不同的环境危险类别进行分类，包括坡度（如楼梯、斜坡）和地面类型（如碎石、草地、混凝土）。
• 利用深度学习实现自动特征提取与分类，无需人工特征工程。
• 评估系统在检测与跌倒相关的环境条件方面的性能，确保高精度。

提出的方法

• 胸前安装的GoPro相机在日常活动中拍摄第一人称视频，记录与跌倒风险相关的环境状况。
• 训练一种自定义卷积神经网络（CNN），以从单帧视频中自动提取、降维并分类视觉特征。
• CNN在包含12种预定义危险类别的数据集上进行训练，包括坡度变化和地面类型。
• 使用分类损失函数在训练过程中最小化平均平方误差（MSE），以优化预测精度。
• 系统实现实时帧处理，实现在移动过程中的即时危险检测。
• 应用数据增强和迁移学习技术，以在真实世界数据有限的情况下提升泛化能力。

实验结果

研究问题

• RQ1 可穿戴的第一人称视觉系统能否在日常活动中实时准确检测环境跌倒风险？
• RQ2 CNN在从第一人称视频中分类多种环境危险（如楼梯、路缘石和不平整表面）方面效果如何？
• RQ3 在可穿戴摄像机数据上使用端到端深度学习，可实现怎样的分类精度？
• RQ4 该系统在不同类型的与跌倒相关的环境危险中表现如何？
• RQ5 系统能否检测出可能导致平衡扰动的细微环境变化？

主要发现

• 所提出的系统在分类环境跌倒风险时实现了8%的平均平方误差（MSE），表明其具有出色的预测性能。
• CNN有效学习到区分12种不同危险类别的能力，包括坡度相关（如楼梯、斜坡）和地面相关（如碎石、草地）的风险。
• 胸前安装的GoPro拍摄的第一人称视频为平衡扰动期间的环境状况提供了可靠的视觉证据。
• 端到端的深度学习方法消除了对手动特征工程的需求，提升了系统的鲁棒性与可扩展性。
• 该系统在自然环境下的日常生活中实现了实时跌倒风险检测的可行性。
• 结果表明，结合CNN的可穿戴视觉系统可支持老年人实现主动跌倒预防。