[论文解读] Temporal Human Action Segmentation via Dynamic Clustering

Yan Zhang, He Sun+2 more|arXiv (Cornell University)|Mar 15, 2018

Human Pose and Action Recognition参考文献 34被引用 6

一句话总结

本文提出了一种快速、无监督的动态聚类算法，用于时间序列人类动作分割，在在线和离线设置下均表现出高效性能。通过利用鲁棒谱聚类进行初始化，并动态更新聚类中心和协方差，该方法在精度和召回率方面达到最先进水平——例如在CMUMAD数据集上达到0.82/0.86的性能，同时比先前的离线方法（如ACA）快超过2,000倍。

ABSTRACT

We present an effective dynamic clustering algorithm for the task of temporal human action segmentation, which has comprehensive applications such as robotics, motion analysis, and patient monitoring. Our proposed algorithm is unsupervised, fast, generic to process various types of features, and applicable in both the online and offline settings. We perform extensive experiments of processing data streams, and show that our algorithm achieves the state-of-the-art results for both online and offline settings.

研究动机与目标

• 开发一种无监督、快速且通用的时间序列人类动作分割方法，适用于在线和离线场景。
• 克服需要大规模标注数据集和高计算成本的监督方法的局限性。
• 实现在医疗和监控等隐私敏感领域中的实时动作分割，这些领域通常缺乏训练数据。
• 提升在线设置下的召回率，这对于检测快速或异常的人类行为至关重要。
• 提供一种数据驱动的聚类框架，能够随着时间序列特征的输入动态演化。

提出的方法

• 利用初始特征向量上的鲁棒谱聚类初始化聚类中心和协方差，以捕捉动作在空间上的聚集性与分离性。
• 在新特征向量到达时动态更新聚类统计量（中心和协方差），实现实时适应。
• 采用逐帧决策规则：当当前帧属于与前一帧不同的聚类时，判定为动作边界。
• 在离线设置中应用特征聚合以提升分割精度，而在在线模式下禁用该操作以提升速度。
• 支持多种特征类型，包括JointLocation、RelativeAngle和Quaternions，使其在不同输入模态下具有通用性。
• 基于聚类成员关系的转移设计一种时间相似性度量，用于检测动作边界，而无需预先知道动作数量或持续时间。

实验结果

研究问题

• RQ1 无监督的动态聚类方法是否能在不依赖监督标注的情况下实现时间序列人类动作分割的最先进性能？
• RQ2 与现有离线和在线动作分割技术相比，所提出方法在速度和精度方面表现如何？
• RQ3 该算法在在线设置中能多大程度上保持高召回率，这对于检测瞬时或异常行为至关重要？
• RQ4 该方法是否能在如TUMKitchen和HDM05等复杂数据集上，泛化到多种特征表示？
• RQ5 聚类人类动作与分割动作边界之间在理论和实践上存在何种关系？

主要发现

• 在CMUMAD数据集上使用JointLocation特征，该方法在0.1秒内实现0.82的精确率和0.86的召回率，优于最先进方法ACA（0.55/0.68），且运行时间比其长2,200倍。
• 在TUMKitchen数据集上，该算法使用JointLocation特征对躯干动作的召回率达到0.62，对手臂动作达到0.49，显著优于KTC-S（0.36/0.31）和ATR（0.29/0.29）。
• 该方法在保持与最先进方法相当精确率的同时，在在线设置中实现了显著更高的召回率，这对监控和患者实时监测等实时应用至关重要。
• 该方法比先前方法快得多，展现出良好的可扩展性，适用于实时视频流处理。
• 该方法在不同特征类型（包括基于姿态和上下文的视频特征）上均表现出良好泛化能力，显示出鲁棒性与适应性。
• 在离线和在线设置下，该方法性能优于或至少可与最先进技术媲美，且速度显著更快，尤其在离线模式下优势明显。