[论文解读] The Thing That We Tried Didn't Work Very Well : Deictic Representation in Reinforcement Learning

Sarah Finney, Natalia H. Gardiol+2 more|arXiv (Cornell University)|Dec 12, 2012

Reinforcement Learning in Robotics参考文献 18被引用 27

一句话总结

本文研究了指代表征——即动作和状态相对于显著物体定义的表征方式——在积木世界环境中的强化学习应用。尽管理论上具有良好的泛化潜力，作者通过实验发现，与朴素的命题式表征相比，指代表征反而降低了学习性能，挑战了其在以物体为中心的领域中有效性的假设。

ABSTRACT

Most reinforcement learning methods operate on propositional representations of the world state. Such representations are often intractably large and generalize poorly. Using a deictic representation is believed to be a viable alternative: they promise generalization while allowing the use of existing reinforcement-learning methods. Yet, there are few experiments on learning with deictic representations reported in the literature. In this paper we explore the effectiveness of two forms of deictic representation and a naïve propositional representation in a simple blocks-world domain. We find, empirically, that the deictic representations actually worsen learning performance. We conclude with a discussion of possible causes of these results and strategies for more effective learning in domains with objects.

研究动机与目标

• 评估指代表征是否能提升以物体为中心环境中强化学习的泛化能力和学习效率。
• 在受控的积木世界领域中，将指代表征与朴素的命题式表征进行对比。
• 识别指代表征在实践中表现不佳的潜在原因。
• 为具有离散、可识别物体的环境中的强化学习表征设计提供实证洞察。

提出的方法

• 作者实现了两种形式的指代表征：一种基于物体索引，另一种基于相对于显著物体的相对空间关系。
• 命题式表征将完整状态编码为一组固定的原子事实（例如，'积木A在积木B上'）。
• 在所有三种表征上应用标准的时间差分学习算法进行强化学习。
• 实验在简单积木世界环境中进行，任务复杂度和物体数量各不相同。
• 通过多个随机种子测量学习速度、样本效率和最终策略质量来评估性能。
• 为确保公平比较，所有表征使用固定的超参数集。

实验结果

研究问题

• RQ1 在积木世界领域中，使用指代表征是否能实现比命题式表征更快或更高效的样本学习？
• RQ2 在学习性能方面，基于索引的指代表征与基于空间关系的指代表征有何差异？
• RQ3 尽管理论上预期良好，为何指代表征在此环境中未能有效泛化？
• RQ4 表征的选择在多大程度上影响了学习过程的稳定性和收敛性？

主要发现

• 与朴素的命题式表征相比，指代表征导致了显著更差的学习性能。
• 基于索引的指代表征表现劣于基于空间关系的变体，但两者均逊于命题式基线。
• 指代表征的学习曲线显示出更慢的收敛速度以及更高的运行间方差。
• 作者观察到，由于物体重新索引或显著性变化，指代表征引入了虚假的状态模糊性。
• 失败原因被归因于表征对物体排序和动态显著性的敏感性，这破坏了策略的泛化能力。
• 结果表明，在动态物体集合的领域中，除非结合稳健的物体跟踪或注意力机制，否则指代表征可能并非可靠的泛化策略。