[论文解读] Procedure Planning in Instructional Videos

Chien-Yi Chang, De-An Huang+4 more|arXiv (Cornell University)|Jul 2, 2019

Multimodal Machine Learning Applications参考文献 43被引用 10

一句话总结

本文提出双流动态网络（DDN），一种通过利用状态与动作之间的共轭关系，从非结构化教学视频中学习结构化、可规划潜在表征的框架。DDN在流程规划和导览规划任务中均优于现有方法，展现出在预测动作序列和中间状态方面更优的泛化能力与准确性。

ABSTRACT

In this paper, we study the problem of procedure planning in instructional videos, which can be seen as a step towards enabling autonomous agents to plan for complex tasks in everyday settings such as cooking. Given the current visual observation of the world and a visual goal, we ask the question "What actions need to be taken in order to achieve the goal?". The key technical challenge is to learn structured and plannable state and action spaces directly from unstructured videos. We address this challenge by proposing Dual Dynamics Networks (DDN), a framework that explicitly leverages the structured priors imposed by the conjugate relationships between states and actions in a learned plannable latent space. We evaluate our method on real-world instructional videos. Our experiments show that DDN learns plannable representations that lead to better planning performance compared to existing planning approaches and neural network policies.

研究动机与目标

• 使自主智能体能够在视觉复杂的真实世界环境（如厨房）中执行长时程、目标条件的规划。
• 解决直接从非结构化教学视频中学习结构化且可规划的状态与动作空间的挑战，而无需预定义的符号化领域。
• 通过显式建模潜在空间中状态与动作之间的共轭关系，提升规划性能。
• 在真实世界视频数据上，对流程规划和相关任务——导览规划进行评估。
• 展示对起始和目标观测中未见变化的泛化能力。

提出的方法

• DDN采用两个联合训练的模块：前向动态模型，用于根据动作预测状态转移；共轭动态模型，用于确保状态与动作表征之间的一致性。
• 该框架学习一个解耦的潜在空间，其中状态表征历史动作，动作则基于当前状态进行条件化，通过共轭约束嵌入结构先验。
• 模型通过重建损失、对比损失以及一种新型共轭一致性损失联合训练，以确保动作是后续状态的有效前提。
• DDN使用预训练视频编码器的视觉特征，并在潜在空间中预测动作序列和中间状态表征。
• 该方法在流程规划（从起始帧到目标帧的视频帧）和导览规划（排序视频片段）上进行评估，采用汉明距离和成对准确率等指标。
• 模型在非结构化教学视频上端到端训练，无需人工标注的符号化动作谓词或动作标签。

实验结果

研究问题

• RQ1 深度学习模型能否在无预定义符号化动作空间的情况下，从非结构化、视觉丰富的教学视频中学习复杂、长时程任务的规划？
• RQ2 如何利用状态与动作之间的共轭关系来提升所学潜在表征的结构化与可规划性？
• RQ3 联合学习状态与动作的动态关系是否能带来优于独立学习的规划性能？
• RQ4 所学表征是否能泛化到未见的起始和目标观测变化？
• RQ5 该框架能否迁移到相关任务（如导览规划），其中目标是重新排序视频片段？

主要发现

• DDN在流程规划和导览规划任务上均显著优于所有基线模型，在测试集上达到最高的成对准确率和最低的汉明距离。
• 消融实验表明，移除共轭动态模块（Ours w/o T）会降低性能，证实了潜在空间中结构先验的重要性。
• 出人意料的是，在导览规划任务中，无策略头的变体（Ours w/o P）优于无动态头的变体（Ours w/o T），表明状态转移建模对排序任务更为关键。
• 可视化结果表明，DDN能正确预测中间状态的有序序列，而基线模型则未能捕捉复杂流程中诸如工具获取等关键步骤。
• 该模型对起始和目标帧中未见的变化具有良好的泛化能力，表明其对真实世界视频中视觉与语义多样性的鲁棒性。
• DDN成功迁移至导览规划任务，在仅使用流程规划数据训练的情况下，仍优于Visual Ordering和Causal InfoGAN等方法。