[论文解读] Sequential Learning of Movement Prediction in Dynamic Environments using LSTM Autoencoder

Meenakshi Sarkar, Debasish Ghose|arXiv (Cornell University)|Oct 12, 2018

Human Pose and Action Recognition参考文献 7被引用 5

一句话总结

本文提出了一种状态和动作条件化的LSTM自编码器，通过将输入帧编码为低维特征并重建未来状态，实现对动态机器人环境中未来视频帧的预测。该模型仅使用5,000个训练序列即可实现准确的5帧未来预测，展示了其在具有移动障碍物的强化学习导航中的应用潜力。

ABSTRACT

Predicting movement of objects while the action of learning agent interacts with the dynamics of the scene still remains a key challenge in robotics. We propose a multi-layer Long Short Term Memory (LSTM) autoendocer network that predicts future frames for a robot navigating in a dynamic environment with moving obstacles. The autoencoder network is composed of a state and action conditioned decoder network that reconstructs the future frames of video, conditioned on the action taken by the agent. The input image frames are first transformed into low dimensional feature vectors with a pre-trained encoder network and then reconstructed with the LSTM autoencoder network to generate the future frames. A virtual environment, based on the OpenAi-Gym framework for robotics, is used to gather training data and test the proposed network. The initial experiments show promising results indicating that these predicted frames can be used by an appropriate reinforcement learning framework in future to navigate around dynamic obstacles.

研究动机与目标

• 解决机器人动作影响场景动态的动态环境中物体运动预测的挑战。
• 开发一种无监督学习框架，能够在不依赖人工标注数据的情况下泛化于多样化轨迹。
• 实现基于智能体动作的未来帧预测，以支持未知地形中的实时路径规划。
• 通过聚焦高层空间特征而非像素级动态，提升计算效率。
• 在ROS-Gazebo和OpenAI-Gym模拟机器人环境中验证模型的预测能力。

提出的方法

• 使用预训练的编码器网络将输入图像序列转换为低维特征向量。
• 将特征序列输入具有编码器-解码器架构的多层LSTM自编码器。
• 将解码器同时基于智能体的动作和编码状态进行条件化，以预测未来帧。
• 通过预训练的解码器网络重建预测的特征向量，生成像素级视频帧。
• 使用均方误差损失函数优化网络，以最小化重建误差。
• 应用图像反转（I(i,j) = 255 - I(i,j)）以增强梯度流动，并改善稀疏数据上的特征学习。

实验结果

研究问题

• RQ1 LSTM自编码器能否从动态机器人环境中未结构化、无标注的数据视频序列中学习时间规律性？
• RQ2 与标准自编码器相比，动作和状态条件化解码在提升未来帧预测准确性方面效果如何？
• RQ3 图像反转在低信噪比、稀疏视觉数据中对视频预测学习的增强作用有多大？
• RQ4 该模型能否仅使用5,000个训练序列即在多样化轨迹和目标状态下实现良好泛化？
• RQ5 预测帧能否在强化学习框架中有效用于路径规划？

主要发现

• 模型在图像反转后能成功重建输入图像序列，与非反转输入相比，显著提升了空间特征恢复能力。
• 图像反转解决了稀疏数据中的梯度消失问题，实现了稳定训练并改善了表征学习。
• 模型在仅使用5,000个序列（每个1,000个序列包含5帧）进行训练后，可准确预测最多5帧未来的图像。
• 预测帧显示出连贯的运动模式，机器人轨迹在时间序列中各步清晰可见。
• 使用预训练的编码器和解码器相比端到端像素级建模，显著降低了计算成本并提高了训练效率。
• 动作条件化解码实现了上下文感知的预测，能够捕捉智能体动作对未来场景演化的影响力。