[论文解读] Sparse Semi-Supervised Action Recognition with Active Learning

Jingyuan Li, Eli Shlizerman|arXiv (Cornell University)|Dec 3, 2020

Human Pose and Action Recognition参考文献 39被引用 13

一句话总结

该论文提出SESAR，一种稀疏半监督动作识别框架，通过自编码RNN进行无监督表征学习，并结合主动学习选择最具信息量的骨骼序列进行标注。通过联合训练用于序列重建的编码器-解码器与基于不确定性和聚类选择的分类器，SESAR在NW-UCLA、NTU RGB+D 60和UWA3D数据集上仅使用1%标注数据的情况下实现了最先进性能。

ABSTRACT

Current state-of-the-art methods for skeleton-based action recognition are supervised and rely on labels. The reliance is limiting the performance due to the challenges involved in annotation and mislabeled data. Unsupervised methods have been introduced, however, they organize sequences into clusters and still require labels to associate clusters with actions. In this paper, we propose a novel approach for skeleton-based action recognition, called SESAR, that connects these approaches. SESAR leverages the information from both unlabeled data and a handful of sequences actively selected for labeling, combining unsupervised training with sparsely supervised guidance. SESAR is composed of two main components, where the first component learns a latent representation for unlabeled action sequences through an Encoder-Decoder RNN which reconstructs the sequences, and the second component performs active learning to select sequences to be labeled based on cluster and classification uncertainty. When the two components are simultaneously trained on skeleton-based action sequences, they correspond to a robust system for action recognition with only a handful of labeled samples. We evaluate our system on common datasets with multiple sequences and actions, such as NW UCLA, NTU RGB+D 60, and UWA3D. Our results outperform standalone skeleton-based supervised, unsupervised with cluster identification, and active-learning methods for action recognition when applied to sparse labeled samples, as low as 1% of the data.

研究动机与目标

• 解决监督式基于骨骼的动作识别中高标注成本与标注错误的问题。
• 克服无监督方法需事后标注将聚类与动作关联的局限性。
• 开发一种半监督框架，利用未标注数据并主动选择最具信息量的样本进行标注。
• 在极稀疏标注设置（如仅标注1%训练数据）下提升性能。
• 将不确定性与基于聚类的采样策略整合进骨骼序列的主动学习流程中。

提出的方法

• 训练基于GRU的编码器-解码器RNN，以无监督方式重建原始骨骼序列，学习解耦的潜在表征。
• 在潜在表征上训练单层分类器以预测动作类别，仅使用少量标注序列。
• 主动学习基于潜在空间中的预测不确定性和聚类密度选择需标注的序列。
• 提出两种主动学习变体：SESAR-KJS（不确定性 + 相似性）和SESAR-KT（不确定性 + 最近邻k个），均使用潜在表征进行选择。
• 编码器-解码器与分类器联合训练，同时优化重建损失与分类损失。
• 在三个基准数据集（NW-UCLA、NTU RGB+D 60和UWA3D）上评估框架，标签稀疏度从1%到50%不等。

实验结果

研究问题

• RQ1 将无监督表征学习与主动学习结合，能否显著减少骨骼动作识别中所需标注序列的数量？
• RQ2 在稀疏标注场景下，整合聚类结构与预测不确定性如何提升主动学习性能？
• RQ3 当仅标注1%数据时，SESAR是否优于独立的监督、无监督及主动学习基线方法？
• RQ4 在极端标签稀缺条件下，不同主动学习策略（如仅不确定性 vs. 不确定性 + 相似性）的性能如何比较？
• RQ5 重建与分类组件的联合训练在极小监督下在多大程度上增强了泛化能力？

主要发现

• 在仅1%标注数据（400个序列）的NTU RGB+D 60数据集上，SESAR-KJS达到38.2%准确率，优于ASSL（33.1%）和MS²L（33.1%）。
• 在NTU数据集上5%标注数据时，SESAR-KJS达到57.8%准确率，超过次优方法（ASSL为57.3%）。
• 在NW-UCLA数据集上5%标注时，SESAR-KJS达到58.1%准确率，超过最佳基线（ASSL为52.6%）。
• 在UWA3D数据集上10%标注时，SESAR-KT达到58.8%准确率，优于次优方法（SESAR-CS为55.8%）。
• 随着标注数量增加，SESAR与基线方法之间的性能差距缩小，表明主动学习在极端稀疏情况下的优势最为显著。
• 训练曲线显示，在5%标注条件下，SESAR-KT在前几个epoch内迅速提升准确率，而独立分类器保持平坦，均匀采样则需大量epoch才能收敛。