[论文解读] Predicting the Next Action by Modeling the Abstract Goal

Debaditya Roy, Basura Fernando|arXiv (Cornell University)|Sep 12, 2022

Human Pose and Action Recognition被引用 6

一句话总结

该论文提出了一种新颖的随机抽象目标建模方法，利用变分循环网络从视觉特征和动作表征中推断潜在目标分布，以实现动作预测。通过引入目标一致性准则，从候选动作中选择最合理的下一步动作，该方法在Epic-Kitchens55、EK100和EGTEA Gaze+数据集上均取得了当前最优性能，在Epic-Kitchens55的已见厨房（S1）划分中，Top-1动词、名词和动作准确率分别实现了+13.69、+11.24和+5.19的绝对提升。

ABSTRACT

The problem of anticipating human actions is an inherently uncertain one. However, we can reduce this uncertainty if we have a sense of the goal that the actor is trying to achieve. Here, we present an action anticipation model that leverages goal information for the purpose of reducing the uncertainty in future predictions. Since we do not possess goal information or the observed actions during inference, we resort to visual representation to encapsulate information about both actions and goals. Through this, we derive a novel concept called abstract goal which is conditioned on observed sequences of visual features for action anticipation. We design the abstract goal as a distribution whose parameters are estimated using a variational recurrent network. We sample multiple candidates for the next action and introduce a goal consistency measure to determine the best candidate that follows from the abstract goal. Our method obtains impressive results on the very challenging Epic-Kitchens55 (EK55), EK100, and EGTEA Gaze+ datasets. We obtain absolute improvements of +13.69, +11.24, and +5.19 for Top-1 verb, Top-1 noun, and Top-1 action anticipation accuracy respectively over prior state-of-the-art methods for seen kitchens (S1) of EK55. Similarly, we also obtain significant improvements in the unseen kitchens (S2) set for Top-1 verb (+10.75), noun (+5.84) and action (+2.87) anticipation. Similar trend is observed for EGTEA Gaze+ dataset, where absolute improvement of +9.9, +13.1 and +6.8 is obtained for noun, verb, and action anticipation. It is through the submission of this paper that our method is currently the new state-of-the-art for action anticipation in EK55 and EGTEA Gaze+ https://competitions.codalab.org/competitions/20071#results Code available at https://github.com/debadityaroy/Abstract_Goal

研究动机与目标

• 通过从观察到的视觉特征和动作序列中隐式建模抽象目标，以减少动作预测中的不确定性。
• 开发一种基于视觉和动作表征的变分推理方法，学习潜在目标分布的随机框架。
• 通过强制基于特征的和基于动作的抽象目标分布之间的一致性，提升下一步动作预测的准确性。
• 在未见过的环境（如Epic-Kitchens100中的未见厨房）中实现有效泛化。
• 在非脚本化、第一人称视角视频设置中，超越现有的确定性和随机模型。

提出的方法

• 模型使用变分循环网络（VRNN）基于观察到的动作序列的视觉特征，学习基于特征的抽象目标分布。
• 从以观察到的动作和采样得到的抽象目标为条件的分布中，采样多个候选下一步动作表征。
• 基于预测的下一步动作表征，使用生成式变分框架学习基于动作的抽象目标分布。
• 提出一种新颖的目标一致性损失，用于度量基于特征的和基于动作的抽象目标分布之间的差异，以选择最合理的下一步动作。
• 通过组合交叉熵损失（用于动作预测）、KL散度损失（用于潜在变量正则化）和目标一致性损失，实现端到端训练。
• 采样多个动作候选，选择使目标一致性最大的动作作为预测的下一步动作。

实验结果

研究问题

• RQ1 从视觉特征和动作序列中建模抽象目标，是否能提升动作预测性能？
• RQ2 强制基于特征的和基于动作的抽象目标之间的一致性，如何提升预测准确性？
• RQ3 基于随机变分方法的抽象目标建模能否泛化到未见环境（如未见厨房）？
• RQ4 各损失组件（下一步动作预测、抽象目标正则化、目标一致性）对整体性能的相对贡献如何？
• RQ5 所提出的方法是否在非脚本化第一人称视频数据集上，超越了确定性和随机基线模型（包括基于Transformer的模型）？

主要发现

• 与先前SOTA相比，该方法在Epic-Kitchens55的已见厨房（S1）划分中，Top-1动词准确率实现了+13.69的绝对提升。
• 在同一S1划分中，Top-1名词和Top-1动作预测准确率分别实现了+11.24和+5.19的绝对提升。
• 在EK55的未见厨房（S2）划分中，该模型将Top-1动词准确率提升了+10.75，名词提升了+5.84，动作提升了+2.87。
• 在EGTEA Gaze+数据集中，该方法在Top-1名词、动词和动作预测方面分别实现了+9.9、+13.1和+6.8的绝对提升。
• 消融实验证实，目标一致性损失是影响最大的组件，四个损失项（NA、OG、NG、GC）均对性能有显著贡献。
• 该模型在不同预测时延下均保持优异性能，0.5秒时Top-5动作准确率为44.26%，2秒时为42.90%，优于RU-LSTM和Temporal Aggregation基线模型。