[论文解读] Robust 3D Action Recognition through Sampling Local Appearances and Global Distributions

Mengyuan Liu, Hong Liu+1 more|arXiv (Cornell University)|Dec 4, 2017

Human Pose and Action Recognition参考文献 71被引用 5

一句话总结

本文提出了一种两层Bag-of-Visual-Words模型，通过联合建模基于运动的和基于形状的空间-时间兴趣点（STIPs），利用运动和形状线索增强3D动作识别。该方法引入了多尺度3D局部导向核（M3DLSK）以捕捉局部运动外观，以及空间-时间向量（STV）描述符以编码全局形状分布，在MSRAction3D数据集上达到91.00%的准确率，并在噪声、遮挡和类别间相似性方面优于最先进方法。

ABSTRACT

3D action recognition has broad applications in human-computer interaction and intelligent surveillance. However, recognizing similar actions remains challenging since previous literature fails to capture motion and shape cues effectively from noisy depth data. In this paper, we propose a novel two-layer Bag-of-Visual-Words (BoVW) model, which suppresses the noise disturbances and jointly encodes both motion and shape cues. First, background clutter is removed by a background modeling method that is designed for depth data. Then, motion and shape cues are jointly used to generate robust and distinctive spatial-temporal interest points (STIPs): motion-based STIPs and shape-based STIPs. In the first layer of our model, a multi-scale 3D local steering kernel (M3DLSK) descriptor is proposed to describe local appearances of cuboids around motion-based STIPs. In the second layer, a spatial-temporal vector (STV) descriptor is proposed to describe the spatial-temporal distributions of shape-based STIPs. Using the Bag-of-Visual-Words (BoVW) model, motion and shape cues are combined to form a fused action representation. Our model performs favorably compared with common STIP detection and description methods. Thorough experiments verify that our model is effective in distinguishing similar actions and robust to background clutter, partial occlusions and pepper noise.

研究动机与目标

• 为解决由于噪声、遮挡和背景杂波导致在深度数据中难以识别相似动作的挑战。
• 通过联合编码常被现有方法忽略的运动和形状线索，提升3D动作识别性能。
• 设计一种对视角变化、部分遮挡和深度不连续性具有鲁棒性的框架。
• 设计一种两层BoVW模型，融合STIPs的局部外观与全局分布，以增强动作表征。
• 在包含多样化动作类型和真实世界变化（如类内差异性和类间相似性）的基准数据集上验证该方法。

提出的方法

• 提出一种新颖的背景建模方法，以抑制深度数据中的杂波，提升前景提取效果，从而改善STIP检测。
• 利用运动线索检测基于运动的STIPs，同时从深度图中具有显著空间结构的区域提取基于形状的STIPs。
• 引入多尺度3D局部导向核（M3DLSK）描述符，通过长方体特征捕捉基于运动的STIPs周围的局部运动外观。
• 提出空间-时间向量（STV）描述符，用于编码基于形状的STIPs的全局时空分布。
• 采用两层袋-视觉-词（BoVW）模型，融合M3DLSK与STV表征，形成统一的动作表征。
• 将STIP检测、描述符计算与基于BoVW的聚合整合为一个鲁棒的3D动作识别流水线。

实验结果

研究问题

• RQ1 结合局部运动外观与全局形状分布的两层BoVW模型能否提升3D动作识别的鲁棒性？
• RQ2 与现有描述符相比，M3DLSK描述符在从噪声深度数据中捕捉局部运动结构方面的有效性如何？
• RQ3 STV描述符在编码基于形状的STIPs时空分布方面，能在多大程度上提升识别性能？
• RQ4 所提出的背景建模方法在杂乱深度场景中如何提升STIP检测效果？
• RQ5 运动与形状线索的融合能否减少如'highWave'与'circle'等相似动作之间的混淆？

主要发现

• 所提方法在MSRAction3D数据集上达到91.00%的准确率，优于HON4D（80.00%）和DSTIP+DCSF（83.60%）。
• 在SmartHome数据集上，该方法达到85.31%的准确率，展现出对类内差异性和类间相似性的鲁棒性。
• 通过有效建模运动与形状线索，该方法显著减少了'highWave'与'circle'等相似动作之间的混淆。
• 背景建模方法在准确率和计算效率方面均优于均值滤波和ViBe，每帧耗时31.25 ms。
• 尽管计算成本较高（74.64 ms/frame），但该方法显著优于部分最先进方法的准确率。
• 在修改后的MSRAction3D和UTKinect-Action数据集上验证表明，该方法对部分遮挡、视角变化和深度噪声具有强鲁棒性。