[论文解读] Temporal Difference Variational Auto-Encoder

Karol Gregor, George Papamakarios+3 more|arXiv (Cornell University)|Jun 8, 2018

Reinforcement Learning in Robotics参考文献 44被引用 14

一句话总结

TD-VAE 是一种生成式序列模型，通过使用时间差分学习目标，在时间上分离的时间点上进行训练，学习抽象的、基于信念的状态表征。它能够在不依赖单步转移的情况下，直接对长时序范围进行滚动预测，在 3D 模拟器和 DeepMind Lab 等复杂环境中实现了更优的长期预测与不确定性建模。

ABSTRACT

To act and plan in complex environments, we posit that agents should have a mental simulator of the world with three characteristics: (a) it should build an abstract state representing the condition of the world; (b) it should form a belief which represents uncertainty on the world; (c) it should go beyond simple step-by-step simulation, and exhibit temporal abstraction. Motivated by the absence of a model satisfying all these requirements, we propose TD-VAE, a generative sequence model that learns representations containing explicit beliefs about states several steps into the future, and that can be rolled out directly without single-step transitions. TD-VAE is trained on pairs of temporally separated time points, using an analogue of temporal difference learning used in reinforcement learning.

研究动机与目标

• 开发一种支持时间抽象、显式信念状态和抽象状态表征的生成模型，用于部分可观测环境中的规划。
• 解决标准 VAE 和 RNN 在建模长期依赖关系以及远距离未来不确定性方面的局限性。
• 使用时间扩展的数据对进行训练，无需反向传播通过每个中间步骤。
• 实现从潜在表征直接滚动预测未来状态，且独立于环境的时间步长。
• 证明所学习的信念状态包含足够信息，可用于下游任务，如预测未来动态。

提出的方法

• 提出一种改进的证据下界（ELBO），联合训练过滤后验和局部平滑后验，用于随机状态空间模型。
• 使用时间差分学习目标，对时间间隔随机的观察对进行训练，支持跳跃式预测。
• 采用信念状态 $ b $ 作为过滤后验的确定性编码表征，捕捉对未来状态的不确定性。
• 应用卷积 LSTM 和深层架构（16 层）以建模 DeepMind Lab 等复杂环境中视觉序列。
• 通过从 $ p(z_{t_2} | z_{t_1}) $ 直接采样未来状态 $ z_{t_2} $ 实现状态空间滚动，跳过中间步骤。
• 使用从 $[1,40]$ 均匀采样的时间跳跃 $ t_2 - t_1 $，使模型在长程依赖关系上进行训练。

实验结果

研究问题

• RQ1 生成模型能否学习到抽象的、基于信念的表征，以编码在长时序范围内的未来状态不确定性？
• RQ2 在时间上分离的数据对上进行训练的模型，能否在不进行单步生成的情况下泛化到直接滚动预测？
• RQ3 TD-VAE 学习到的信念状态是否包含足够信息，以预测未来动态（如谐振子的频率变化）？
• RQ4 与标准的下一步预测模型相比，TD-VAE 在学习长期依赖关系和关系推理方面表现如何？
• RQ5 TD-VAE 能否学习到复杂 3D 环境（如 DeepMind Lab）的一致性跳跃式模拟器？

主要发现

• 与标准深度状态空间模型训练方法相比，TD-VAE 在谐振子任务上实现了更高的似然性。
• 该模型成功预测了信号在 20 步以内的正确频率和振幅，但在 100 步预测时相位准确性因系统噪声而下降。
• 在关系推理任务中，TD-VAE 的信念状态使二分类器能够比下一步预测器更准确地预测最终频率 $ f_4 $，尤其在时间间隔较长且 LSTM 较小时表现更优。
• 在 DeepMind Lab 中，信念状态 $ p_B(z|b) $ 的独立采样解码出相似的帧，表明其对当前状态的信念表征具有一致性。
• 从同一信念状态生成的多个未来预测在不同采样中产生不同的帧，表明模型编码了对多种可能结果的不确定性。
• 模型生成的滚动预测表现出跳过多个时间步的前向运动，证明了其可实现独立于环境原生时间步长的直接跳跃式滚动。