[论文解读] Variational Temporal Abstraction

Taesup Kim, Sungjin Ahn+1 more|arXiv (Cornell University)|Oct 2, 2019

Advanced Image and Video Retrieval Techniques被引用 24

一句话总结

本文提出变分时序抽象（VTA），一种随机的分层循环状态空间模型，能够发现序列数据中的潜在时序结构，并在智能体学习中实现高效的跳跃式想象。通过将子序列数量和长度视为隐变量并使用变分推断，VTA 学习到可解释的分层状态转移，相较于基线模型，在3D导航任务中显著提升了样本效率。

ABSTRACT

We introduce a variational approach to learning and inference of temporally hierarchical structure and representation for sequential data. We propose the Variational Temporal Abstraction (VTA), a hierarchical recurrent state space model that can infer the latent temporal structure and thus perform the stochastic state transition hierarchically. We also propose to apply this model to implement the jumpy-imagination ability in imagination-augmented agent-learning in order to improve the efficiency of the imagination. In experiments, we demonstrate that our proposed method can model 2D and 3D visual sequence datasets with interpretable temporal structure discovery and that its application to jumpy imagination enables more efficient agent-learning in a 3D navigation task.

研究动机与目标

• 通过分层时序抽象实现高效的未来规划，以解决强化学习中的样本效率问题。
• 在无先验监督的情况下，从序列数据中发现可解释的潜在时序结构（例如子序列）。
• 建模能够捕捉序列数据中长期依赖关系的随机、分层状态转移。
• 将该模型应用于增强想象的智能体，以提升3D导航任务中规划的效率。
• 为难以处理的离散潜在时序结构后验分布开发变分推断框架。

提出的方法

• 提出分层循环状态空间模型（HRSSM），其中子序列由子序列数量 N 和长度 L 的离散隐变量定义。
• 使用循环神经网络建模分层状态转移：一个RNN用于时序抽象（z_i），另一个用于观测抽象（s_j^i），在每个时间步进行处理。
• 引入二值子序列指示变量，将离散隐变量重新表述为连续可微变量，以实现通过变分推断的端到端训练。
• 采用变分推断与摊销推理网络，近似难以处理的潜在结构后验分布，从而实现随机优化。
• 采用分层生成过程：z_i 的转移由依赖于前一状态 z_{i-1} 的RNN控制，s_j^i 的转移由依赖于 z_i 和前一状态 s_{j-1}^i 的RNN控制。
• 将该模型作为跳跃式想象模块应用于目标导向型导航任务，智能体通过抽象化的多步状态转移进行规划，从而提升样本效率。

实验结果

研究问题

• RQ1 随机的分层序列模型是否能在无先验监督的情况下，从序列数据中发现可解释的时序结构？
• RQ2 变分推断如何适配以处理表示子序列数量和长度的离散隐变量？
• RQ3 分层时序抽象是否能提升基于模型的强化学习中未来想象的效率？
• RQ4 所提出的HRSSM是否在3D导航任务的样本效率方面优于标准RSSM？
• RQ5 时序抽象在规划过程中对轨迹滚动（trajectory rollouts）的计算成本降低程度如何？

主要发现

• HRSSM 在2D弹跳小球和3D迷宫探索数据集中成功发现了可解释的时序结构，定性证据表明子序列分割具有实际意义。
• 在目标导向型3D导航任务中，HRSSM 相较于RSSM 显著提升了样本效率，在相同计算预算下，多数任务在50步内即可解决。
• HRSSM 在不同长度的想象轨迹中保持了稳定性能，而RSSM 因组合爆炸问题在长序列中性能下降。
• 该模型的跳跃式想象能力使智能体能够通过将多个时间步抽象为单个状态转移，有效降低规划复杂度。
• 通过使用带有二值子序列指示变量的变分推断，实现了对具有离散潜在时序结构模型的有效训练。
• 目标特征提取器与HRSSM的联合训练，提升了想象状态与目标状态之间的匹配精度，从而增强了规划性能。