[论文解读] RGB-D-based Human Motion Recognition with Deep Learning: A Survey

Pichao Wang, Wanqing Li+3 more|arXiv (Cornell University)|Oct 31, 2017

Human Pose and Action Recognition参考文献 154被引用 33

一句话总结

本综述全面回顾了基于RGB-D的人体动作识别的深度学习方法，按模态（RGB、深度图、骨骼、RGB+D）对方法进行分类，并分析了时空结构编码技术。文中指出了关键挑战与未来研究方向，包括零样本学习、遮挡鲁棒性、基于GAN的无监督学习，以及在线动作预测。

ABSTRACT

Human motion recognition is one of the most important branches of human-centered research activities. In recent years, motion recognition based on RGB-D data has attracted much attention. Along with the development in artificial intelligence, deep learning techniques have gained remarkable success in computer vision. In particular, convolutional neural networks (CNN) have achieved great success for image-based tasks, and recurrent neural networks (RNN) are renowned for sequence-based problems. Specifically, deep learning methods based on the CNN and RNN architectures have been adopted for motion recognition using RGB-D data. In this paper, a detailed overview of recent advances in RGB-D-based motion recognition is presented. The reviewed methods are broadly categorized into four groups, depending on the modality adopted for recognition: RGB-based, depth-based, skeleton-based and RGB+D-based. As a survey focused on the application of deep learning to RGB-D-based motion recognition, we explicitly discuss the advantages and limitations of existing techniques. Particularly, we highlighted the methods of encoding spatial-temporal-structural information inherent in video sequence, and discuss potential directions for future research.

研究动机与目标

• 系统性回顾应用于基于RGB-D的人体动作识别的深度学习技术。
• 根据输入模态（RGB、深度图、骨骼或多模态RGB+D）对现有方法进行分类。
• 分析深度学习模型如何编码和利用视频序列中的空间、时间与结构信息。
• 识别当前方法的局限性，特别是泛化能力、遮挡处理与数据效率方面的问题。
• 概述新兴研究方向，如零样本学习、基于GAN的无监督学习，以及在线动作识别。

提出的方法

• 根据输入模态将RGB-D动作识别方法分为四类：基于RGB的方法、基于深度图的方法、基于骨骼的方法，以及基于RGB+D的方法。
• 回顾用于特征提取与序列建模的深度学习架构，如2D/3D卷积神经网络（CNN）和循环神经网络（RNN）（包括长短期记忆网络LSTM）。
• 分析捕捉动作动态、身体姿态与时间依赖性的时空结构编码策略。
• 评估预训练模型与迁移学习在小样本数据集上提升性能的应用。
• 讨论通过早期融合或晚期融合技术整合多模态数据（RGB、深度图、骨骼）的方法。
• 考察自监督与生成模型（包括生成对抗网络GAN）在无监督表示学习方面的最新进展，用于从视频中学习表征。

实验结果

研究问题

• RQ1 不同模态（RGB、深度图、骨骼、RGB+D）在人体动作识别的深度学习模型中分别起到何种贡献？
• RQ2 在RGB-D视频序列中，哪些深度学习架构在编码空间、时间与结构信息方面最为有效？
• RQ3 当前RGB-D动作识别方法在真实场景中存在哪些关键局限性，例如遮挡与光照变化？
• RQ4 在标注数据稀缺的情况下，无监督或少样本学习技术如何提升泛化能力？
• RQ5 在基于深度学习的在线动作识别与动作预测方面，最具前景的研究方向是什么？

主要发现

• RGB-D数据对光照变化具有鲁棒性，并提供丰富的三维结构信息，因此在动作识别中表现优异。
• 3D卷积神经网络（CNN）与RNN（特别是LSTM）被广泛用于捕捉时空特征，其中3D CNN在动作识别任务中表现出色。
• 基于骨骼的方法因维度降低与可解释性提升而受益，尤其在结合注意力机制时效果更佳。
• 多模态融合（RGB+D）通常优于单模态方法，尤其在复杂场景中表现更优。
• 尽管已有进展，但在处理遮挡、域偏移与数据稀缺性方面仍存在挑战，尤其在真实世界户外环境中。
• 新兴技术如GAN与自监督学习在无监督表示学习与少样本泛化方面展现出巨大潜力。