[论文解读] Prediction Under Uncertainty with Error-Encoding Networks

Mikael Henaff, Junbo Zhao+1 more|arXiv (Cornell University)|Nov 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 14

一句话总结

本文提出误差编码网络（EEN），一种用于多模态视频预测的新框架，通过将未来状态的可预测部分与不可预测部分解耦，实现高质量、多样化的视频生成。通过将预测误差编码到低维潜在空间中，EEN 在无需对抗训练或复杂优化的情况下，持续优于基线模型，在不确定性下的多模态生成任务中表现优异。

ABSTRACT

In this work we introduce a new framework for performing temporal predictions in the presence of uncertainty. It is based on a simple idea of disentangling components of the future state which are predictable from those which are inherently unpredictable, and encoding the unpredictable components into a low-dimensional latent variable which is fed into a forward model. Our method uses a supervised training objective which is fast and easy to train. We evaluate it in the context of video prediction on multiple datasets and show that it is able to consistently generate diverse predictions without the need for alternating minimization over a latent space or adversarial training.

研究动机与目标

• 解决时间序列中多模态时间预测的挑战，特别是在视频生成中，标准的L1/L2损失会产生平均化、缺乏多样性的预测结果。
• 通过避免对抗训练和交替最小化等复杂且不稳定的机制，克服基于GAN方法的模式崩溃问题。
• 开发一种简单、端到端可训练的框架，利用预测误差的潜在表示，将确定性预测与随机不确定性分离。
• 通过将未来预测条件化于编码不可预测成分的低维潜在变量，实现多样化、高保真度的视频生成。
• 提供一种可扩展、推理高效的方案，适用于除视频外的连续值时间序列，具备快速训练速度，且无需展开或反向传播判别器。

提出的方法

• 将未来状态分解为从当前状态预测的确定性分量，以及代表固有不确定性的残差误差分量。
• 训练一个独立的编码器网络，将预测误差（真实值减去确定性预测）映射到低维潜在向量。
• 将该潜在向量作为前向模型的条件输入，生成精细化的、多模态的未来帧预测。
• 使用标准监督损失（如L2或L1）对最终预测进行端到端训练，实现快速且稳定的优化。
• 在推理阶段，通过采样多个潜在向量生成多样化预测，每个样本对应未来状态的一个不同模式。
• 利用潜在变量是输入和真实值的可微函数这一事实，实现无需交替步骤的基于梯度的优化。

实验结果

研究问题

• RQ1 一个简单、非对抗性的框架是否能不依赖GAN或复杂优化过程，生成多样化、多模态的视频预测？
• RQ2 对预测误差的潜在表示在多大程度上能捕捉未来时间序列状态的多模态特性？
• RQ3 所提出的方法在生成多样化、高质量预测方面，是否优于标准确定性模型和基于GAN的方法，且在多种视频领域中表现更优？
• RQ4 随着潜在变量采样数量的增加，模型性能提升的程度如何，是否表明其有效覆盖了多个模式？
• RQ5 该框架是否能泛化到视频以外的其他具有固有不确定性的连续值时间序列？

主要发现

• EEN模型在多种数据集（包括Flappy Bird、机器人操作和模拟驾驶）上实现了稳定且一致的多模态视频生成，未出现模式崩溃。
• 定量结果表明，EEN的最佳PSNR得分随生成样本数量的增加而提升，表明其有效覆盖了数据分布中的多个模式。
• 相比之下，基于GAN的模型在增加样本数量时PSNR无改善，证实了模式崩溃现象以及潜在变量的有限利用。
• 该模型在不同视频任务中表现稳健，能生成多样化预测，如Flappy Bird中不同高度的障碍物，以及驾驶视频中不同的转向效果。
• 该方法通过仅需一次前向传播即可从未见数据中提取潜在变量，实现快速推理，适用于规划与模仿学习。
• 该框架采用标准监督损失进行端到端训练，避免了对抗训练或展开判别器带来的复杂性与不稳定性。