[论文解读] Towards an Unequivocal Representation of Actions

Michael Wray, Davide Moltisanti+1 more|arXiv (Cornell University)|May 10, 2018

Human Pose and Action Recognition被引用 2

一句话总结

本文提出了一种使用多动词标签的非等价动作表征方法，以解决动作识别中的语义模糊性问题，例如在不完全依赖物体的情况下区分'开门'与'开瓶'。该方法采用两流融合卷积神经网络进行多输出回归，在三种第一人称视角数据集上的动作识别与检索任务中均优于单动词基线模型。

ABSTRACT

This work introduces verb-only representations for actions and interactions; the problem of describing similar motions (e.g. 'open door', 'open cupboard'), and distinguish differing ones (e.g. 'open door' vs 'open bottle') using verb-only labels. Current approaches for action recognition neglect legitimate semantic ambiguities and class overlaps between verbs (Fig. 1), relying on the objects to disambiguate interactions. We deviate from single-verb labels and introduce a mapping between observations and multiple verb labels - in order to create an Unequivocal Representation of Actions. The new representation benefits from increased vocabulary and a soft assignment to an enriched space of verb labels. We learn these representations as multi-output regression, using a two-stream fusion CNN. The proposed approach outperforms conventional single-verb labels (also known as majority voting) on three egocentric datasets for both recognition and retrieval.

研究动机与目标

• 解决仅使用动词标签时存在的语义模糊性问题，例如'打开'这一动词可能对应多个不同的动作。
• 通过丰富动词级别的表征，减少对物体信息以区分相似动作的依赖。
• 通过将动作软分配至多个动词标签，构建明确无歧义的动作表征。
• 通过更具表现力的动词空间提升动作识别与检索的性能。
• 通过多输出回归学习表征，捕捉动作之间的细微差异。

提出的方法

• 提出从观测数据映射到多个动词标签，而非单一动词标签，以解决语义模糊性。
• 使用两流卷积神经网络融合视觉与时间特征，构建动作表征。
• 采用多输出回归方法，预测在一组动词标签上的软分配结果。
• 端到端训练模型，学习共享的表征空间，以区分相似动作。
• 利用增强的动词空间提升词汇表达力与歧义消除能力。
• 将学习到的表征应用于第一人称视角数据集上的动作识别与检索任务。

实验结果

研究问题

• RQ1 当仅使用动词时存在模糊性，多动词标注能否提升动作识别性能？
• RQ2 对多个动词的软分配在提升相似动作歧义消除方面有何作用？
• RQ3 两流卷积神经网络结合多输出回归是否在识别与检索任务中优于单动词基线模型？
• RQ4 仅依赖动词表征在缺乏物体上下文的情况下，能在多大程度上解决动作模糊性？
• RQ5 增强的动词空间对第一人称视角动作数据集的性能有何影响？

主要发现

• 所提方法在所有三个第一人称视角数据集上的动作识别任务中，均优于传统的单动词标签方法（多数投票法）。
• 该模型在检索任务中表现优于单动词基线，表明其语义对齐能力更强。
• 多动词表征能有效解决相似动作之间的歧义，例如'开门'与'开瓶'的区别。
• 两流融合卷积神经网络通过多输出回归，有效学习到动作之间细微的差异。
• 该方法在识别与检索任务中均表现出更优性能，验证了更丰富动词空间的优势。
• 结果证实，通过软标签与多输出学习，仅基于动词的表征可被构建为无歧义的表征。