[论文解读] Weakly supervised learning of actions from transcripts

Hilde Kuehne, Alexander Richard+1 more|arXiv (Cornell University)|Oct 7, 2016

Human Pose and Action Recognition参考文献 23被引用 5

一句话总结

该论文提出了一种弱监督方法，仅使用视频转录文本和帧级特征进行时序动作识别，通过迭代HMM推理与模型重估计，无需帧级标注即可学习动作模型。该方法在四个基准数据集上实现了最先进性能，在对齐任务上比之前的方法高出2–5%，在分割任务上接近全监督模型的性能。

ABSTRACT

We present an approach for weakly supervised learning of human actions from video transcriptions. Our system is based on the idea that, given a sequence of input data and a transcript, i.e. a list of the order the actions occur in the video, it is possible to infer the actions within the video stream, and thus, learn the related action models without the need for any frame-based annotation. Starting from the transcript information at hand, we split the given data sequences uniformly based on the number of expected actions. We then learn action models for each class by maximizing the probability that the training video sequences are generated by the action models given the sequence order as defined by the transcripts. The learned model can be used to temporally segment an unseen video with or without transcript. We evaluate our approach on four distinct activity datasets, namely Hollywood Extended, MPII Cooking, Breakfast and CRIM13. We show that our system is able to align the scripted actions with the video data and that the learned models localize and classify actions competitively in comparison to models trained with full supervision, i.e. with frame level annotations, and that they outperform any current state-of-the-art approach for aligning transcripts with video data.

研究动机与目标

• 通过仅利用转录文本的顺序信息，解决时序动作识别中帧级视频标注的高昂成本问题。
• 在无需人工边界标注的情况下，实现在视频中的时序动作分割与分类。
• 开发一种可扩展的迭代学习框架，通过联合分割与模型重估计提升动作模型的准确性。
• 证明弱监督训练的模型可作为全监督学习流程的有效初始化。
• 仅使用来自转录文本的弱监督，在大规模数据集上实现具有竞争力的性能。

提出的方法

• 将每个动作类别建模为隐马尔可夫模型（HMM），基于转录文本的顺序进行均匀时间分割初始化。
• 使用高斯混合模型（GMM）表示视频特征的观测概率，实现高效的在线参数更新。
• 通过迭代执行序列解码（分割推理）与模型重估计，优化动作边界与HMM参数。
• 基于经验评估，将迭代次数固定为三次，以在收敛性与过拟合之间取得平衡。
• 为提升性能，将GMM与深度卷积神经网络（CNN）特征结合，以建模复杂的视觉模式。
• 利用训练转录本中的语法学习，实现在无任何转录输入的情况下对未见视频进行分割。

实验结果

研究问题

• RQ1 能否仅从转录文本的顺序信息和帧级特征中有效学习动作模型？
• RQ2 在无帧级标注的情况下，迭代推理与模型重估计是否能提升时序动作定位性能？
• RQ3 所提方法在对齐与分割任务中与最先进弱监督方法相比表现如何？
• RQ4 弱监督训练的模型能否作为全监督模型的有效初始化？
• RQ5 CNN特征的引入是否能提升弱监督动作识别中的性能？

主要发现

• 在Hollywood Extended数据集上，该方法的Jaccard指数达到0.460，对齐性能比之前最先进方法高出2–5%。
• 在Breakfast数据集上，GMM+CNN变体的平均重叠率（MoF）达到0.282，优于ECTC基线方法，并显著缩小了与全监督模型的差距。
• 与[3]相比，该方法将训练时间缩短了一个数量级，每数据集仅需0.47–5.1分钟，且仅经过三次迭代。
• 该系统在多种数据集上表现出鲁棒性，包括Hollywood Extended、MPII Cooking、Breakfast和CRIM13，涵盖超过100小时的视频数据。
• 引入CNN特征使分割性能提升2.5%，表明深度视觉表征在弱监督设置中的优势。
• 所学习的模型即使在无转录文本输入的情况下，也能通过利用训练数据中的语法约束，实现对未见视频的准确时序分割。