[论文解读] Robot Navigation using Reinforcement Learning and Slow Feature Analysis

Wendelin Böhmer|arXiv (Cornell University)|May 4, 2012

Robotic Path Planning Algorithms参考文献 7被引用 4

一句话总结

本文提出使用慢特征分析（SFA）从原始视频数据中提取低维、时间平滑的状态表征，用于机器人导航的强化学习。在随机相机序列上进行训练后，SFA生成的特征使最小二乘策略迭代（LSPI）在模拟环境中实现了约80%的成功率，证明了SFA在为RL智能体生成可线性近似的表征方面的有效性。

ABSTRACT

The application of reinforcement learning algorithms onto real life problems always bears the challenge of filtering the environmental state out of raw sensor readings. While most approaches use heuristics, biology suggests that there must exist an unsupervised method to construct such filters automatically. Besides the extraction of environmental states, the filters have to represent them in a fashion that support modern reinforcement algorithms. Many popular algorithms use a linear architecture, so one should aim at filters that have good approximation properties in combination with linear functions. This thesis wants to propose the unsupervised method slow feature analysis (SFA) for this task. Presented with a random sequence of sensor readings, SFA learns a set of filters. With growing model complexity and training examples, the filters converge against trigonometric polynomial functions. These are known to possess excellent approximation capabilities and should therfore support the reinforcement algorithms well. We evaluate this claim on a robot. The task is to learn a navigational control in a simple environment using the least square policy iteration (LSPI) algorithm. The only accessible sensor is a head mounted video camera, but without meaningful filtering, video images are not suited as LSPI input. We will show that filters learned by SFA, based on a random walk video of the robot, allow the learned control to navigate successfully in ca. 80% of the test trials.

研究动机与目标

• 为解决在真实世界强化学习中从高维原始传感器数据中提取有意义环境状态的挑战。
• 开发一种无监督方法，生成具有良好线性近似性质的表征，适用于现代强化学习算法。
• 评估慢特征分析（SFA）是否能仅使用摄像头视频生成有效的导航任务状态特征。
• 证明基于SFA的特征可提升LSPI算法在模拟机器人导航任务中的性能。

提出的方法

• 在头戴式摄像头采集的随机视频帧序列上训练SFA，以从高维图像数据中学习缓慢变化的特征。
• 将学习到的SFA特征用作LSPI算法的状态表征，LSPI利用线性函数近似来学习导航策略。
• SFA优化使特征随时间缓慢变化，收敛至具有优异线性近似性质的三角多项式。
• LSPI算法使用这些SFA特征作为输入，学习在简单导航环境中最大化累积奖励的策略。
• 机器人在环境中进行随机行走，为SFA提供无监督训练数据，避免了对标注状态的需求。
• 该方法依赖于SFA理论收敛至三角函数的性质，而三角函数已知具有良好的线性函数近似能力。

实验结果

研究问题

• RQ1 SFA能否有效从原始视频数据中提取低维、时间一致的状态表征，以用于强化学习？
• RQ2 SFA生成的特征是否能在类似LSPI的策略迭代框架中支持有效的线性函数近似？
• RQ3 机器人能否仅使用摄像头和基于SFA的状态表征成功实现导航？
• RQ4 LSPI结合SFA特征在导航任务中的性能与基线方法相比如何？
• RQ5 SFA收敛至三角函数对最终策略质量有何影响？

主要发现

• 当LSPI算法使用SFA提取的特征时，在测试试验中实现了约80%的导航成功率。
• SFA成功地从原始视频数据中提取出有意义的低维表征，且无需标注状态或任务特定监督。
• 理论分析表明，SFA收敛至三角多项式函数，而这类函数以强大的线性近似能力著称。
• SFA在降低原始图像数据维度的同时保留了时间一致性，从而实现了有效的策略学习。
• 尽管原始视觉输入复杂，该方法在简单导航环境中表现出鲁棒性。
• 结果表明，SFA是真实世界强化学习应用中状态表征学习的一种可行无监督方法。