[论文解读] Real-World Graph Convolution Networks (RW-GCNs) for Action Recognition in Smart Video Surveillance

Justin Sanchez, Christopher Neff+1 more|arXiv (Cornell University)|Jan 15, 2022

Human Pose and Action Recognition被引用 9

一句话总结

该论文提出了一种真实世界图卷积网络（RW-GCNs），这是一种通过注意力机制增强的时空图卷积网络（ST-GCN）架构，可提升边缘端动作识别中对真实世界噪声和延迟约束的鲁棒性。通过整合受神经科学和信息论启发的语义与控制反馈机制，RW-GCNs 在 NTU-RGB-D-120 数据集上实现了 94.1% 的准确率，比 ST-GCN 的延迟降低了 3.02 倍；在 Northwestern-UCLA 数据集上，即使存在空间关键点噪声，仍保持 90.4% 的准确率，且延迟降低了 32.5 倍。

ABSTRACT

Action recognition is a key algorithmic part of emerging on-the-edge smart video surveillance and security systems. Skeleton-based action recognition is an attractive approach which, instead of using RGB pixel data, relies on human pose information to classify appropriate actions. However, existing algorithms often assume ideal conditions that are not representative of real-world limitations, such as noisy input, latency requirements, and edge resource constraints. To address the limitations of existing approaches, this paper presents Real-World Graph Convolution Networks (RW-GCNs), an architecture-level solution for meeting the domain constraints of Real World Skeleton-based Action Recognition. Inspired by the presence of feedback connections in the human visual cortex, RW-GCNs leverage attentive feedback augmentation on existing near state-of-the-art (SotA) Spatial-Temporal Graph Convolution Networks (ST-GCNs). The ST-GCNs' design choices are derived from information theory-centric principles to address both the spatial and temporal noise typically encountered in end-to-end real-time and on-the-edge smart video systems. Our results demonstrate RW-GCNs' ability to serve these applications by achieving a new SotA accuracy on the NTU-RGB-D-120 dataset at 94.1%, and achieving 32X less latency than baseline ST-GCN applications while still achieving 90.4% accuracy on the Northwestern UCLA dataset in the presence of spatial keypoint noise. RW-GCNs further show system scalability by running on the 10X cost effective NVIDIA Jetson Nano (as opposed to NVIDIA Xavier NX), while still maintaining a respectful range of throughput (15.6 to 5.5 Actions per Second) on the resource constrained device. The code is available here: https://github.com/TeCSAR-UNCC/RW-GCN.

研究动机与目标

• 为解决骨架动作识别在真实世界边缘部署中的空白，其中对姿态数据的理想假设和低延迟要求常常不成立。
• 开发一种在关键点输入存在噪声且面临严格实时延迟约束的边缘系统中仍能保持高准确率的模型。
• 实现在低成本、资源受限的边缘设备（如 NVIDIA Jetson Nano）上可扩展、保护隐私的部署。
• 通过整合受神经科学启发的反馈机制与信息论原理，正式建立真实世界骨架动作识别的新子领域。
• 证明反馈增强的图卷积网络可在不牺牲准确率的前提下，同时提升对噪声的鲁棒性并降低推理延迟。

提出的方法

• RW-GCNs 通过受人类视觉皮层反馈环路启发的注意力反馈机制，增强现有 ST-GCN 架构。
• 引入两种反馈类型：语义反馈，用于重新处理历史特征以增强判别能力；控制反馈，用于管理时间采样与特征重用。
• 该架构基于信息瓶颈理论构建，优化端到端系统在空间与时间噪声下的鲁棒性。
• 反馈模块轻量化，仅在 32 个通道上运行，以最小化计算开销并保持边缘设备上的高效性。
• 模型在包含时间 Re-ID 错误和实时系统中不完美姿态估计等真实世界噪声条件下进行端到端评估。
• 在 NVIDIA Jetson Nano 上测试可扩展性，结果显示在不同场景复杂度下，吞吐量为每秒 15.6 至 5.5 次动作（ApS）。

实验结果

研究问题

• RQ1 注意力反馈机制是否能在存在空间关键点误差和时间不一致等真实世界噪声条件下，提升动作识别的准确率？
• RQ2 与标准 ST-GCN 相比，反馈增强的 GCN 是否能降低推理延迟，同时保持或提升准确率？
• RQ3 RW-GCN 在低成本、资源受限的边缘设备（如 Jetson Nano）上能否实现高效部署而不牺牲性能？
• RQ4 神经科学启发的反馈机制如何提升在输入数据不完美条件下的端到端边缘系统鲁棒性？
• RQ5 在真实系统约束下，所提出的架构是否能在 NTU-RGB-D-120 和 Northwestern-UCLA 等基准数据集上实现最先进性能？

主要发现

• RW-GCNs 在 NTU-RGB-D-120 数据集上实现了 94.1% 的新最先进准确率，超越了先前的 ST-GCN 基线模型。
• 与 ST-GCN 基线相比，RW-GCNs 在 NTU-RGB-D-120 上将延迟降低了 3.02 倍；若接受 3.8% 的准确率损失，延迟降低可达 10 倍。
• 在 Northwestern-UCLA 数据集上，即使存在空间关键点噪声，RW-GCNs 仍保持 90.4% 的准确率，且延迟比基线 ST-GCN 降低了 32.5 倍。
• 在包含时间 Re-ID 错误的完整端到端系统噪声下，RW-GCNs 在 Northwestern-UCLA 数据集上实现了 71.8% 的准确率，同时延迟降低 32.5 倍。
• 该模型在 NVIDIA Jetson Nano 上运行高效，吞吐量为每秒 15.6 至 5.5 次动作（ApS），在保持可用吞吐量的同时，实现每节点 10 倍的成本降低。
• 语义反馈机制引入的开销极小，仅使 ApS 提升 1.6 倍，参数量增加可忽略，证实其高效性。