[论文解读] My Brain is Full: When More Memory Helps

Christopher Lusena, Tong Li+3 more|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 13被引用 8

一句话总结

本文研究了POMDP中的自由有限记忆策略，其中策略性能随记忆容量增加而提升。令人惊讶的是，使用超过最优所需的记忆容量能显著提升局部搜索、模拟退火和遗传算法收敛至最优策略的性能，甚至在某些情况下优于动态规划。

ABSTRACT

We consider the problem of finding good finite-horizon policies for POMDPs under the expected reward metric. The policies considered are {em free finite-memory policies with limited memory}; a policy is a mapping from the space of observation-memory pairs to the space of action-memeory pairs (the policy updates the memory as it goes), and the number of possible memory states is a parameter of the input to the policy-finding algorithms. The algorithms considered here are preliminary implementations of three search heuristics: local search, simulated annealing, and genetic algorithms. We compare their outcomes to each other and to the optimal policies for each instance. We compare run times of each policy and of a dynamic programming algorithm for POMDPs developed by Hansen that iteratively improves a finite-state controller --- the previous state of the art for finite memory policies. The value of the best policy can only improve as the amount of memory increases, up to the amount needed for an optimal finite-memory policy. Our most surprising finding is that more memory helps in another way: given more memory than is needed for an optimal policy, the algorithms are more likely to converge to optimal-valued policies.

研究动机与目标

• 评估记忆容量增加对有限horizon POMDP策略性能的影响。
• 将启发式搜索算法（局部搜索、模拟退火、遗传算法）与最优策略及动态规划进行比较。
• 探究使用超过最优所需记忆容量是否能提升算法收敛至最优值策略的性能。
• 分析不同记忆大小与算法组合下的运行时效率与策略质量。
• 评估记忆容量增加时策略的价值提升，直至达到有限记忆控制的最优状态。

提出的方法

• 将自由有限记忆策略形式化为从观测-记忆对到动作-记忆对的映射，将记忆大小作为可调参数。
• 采用三种启发式搜索算法：局部搜索、模拟退火和遗传算法，以探索策略空间。
• 将策略质量与运行时间与通过Hansen的动态规划算法计算出的最优策略进行比较，适用于有限状态控制器。
• 使用期望奖励作为评估不同记忆容量下策略性能的指标。
• 系统性地将记忆大小增加至超过最优所需的最小值，以测试收敛行为。
• 在不同记忆约束下，分析多个POMDP实例的收敛速率与策略值。

实验结果

研究问题

• RQ1 当记忆容量超过最优所需最小值时，是否能提升收敛至最优值策略的可能性？
• RQ2 启发式搜索算法（局部搜索、模拟退火、遗传算法）在性能与收敛速度方面与有限记忆POMDP策略的动态规划相比如何？
• RQ3 在有限horizon POMDP中，记忆大小与策略值提升之间存在何种关系？
• RQ4 当存在过剩记忆时，启发式方法是否能在收敛至最优策略方面超越动态规划？
• RQ5 随着记忆容量增加，最佳策略的价值如何变化？其是否在最优记忆大小处趋于稳定？

主要发现

• 最佳策略的价值随着记忆大小的增加而严格提升，直至达到最优有限记忆策略的点。
• 令人惊讶的是，使用超过最优所需记忆容量能显著提高启发式算法收敛至最优值策略的可能性。
• 在某些实例中，特别是当赋予过剩记忆时，启发式算法（尤其是遗传算法）在收敛至最优策略方面优于动态规划。
• 策略质量与收敛鲁棒性随记忆容量提升而增强，即使超过最优所需最小值亦然。
• 运行时性能在不同算法间存在差异，但过剩记忆的优势在所有三种启发式算法中均保持一致。
• 本研究表明，记忆容量起到了正则化作用，提升了复杂POMDP策略空间中搜索的有效性。