[论文解读] Reinforcement Learning Methods for Wordle: A POMDP/Adaptive Control Approach

Siddhant Bhambri, Amrita Bhattacharjee+1 more|arXiv (Cornell University)|Nov 15, 2022

Optimization and Search Problems被引用 7

一句话总结

本文提出一种基于rollout的自适应控制与价值函数近似相结合的强化学习方法，将Wordle谜题建模为部分可观察马尔可夫决策过程（POMDP），以求解该问题。通过单次策略迭代改进启发式策略（如最大信息增益），该方法在计算效率与可扩展性方面表现优异，实现了接近最优的性能——与最优解差距小于0.4%，并能有效应对如6字母Wordle等复杂变体。

ABSTRACT

In this paper we address the solution of the popular Wordle puzzle, using new reinforcement learning methods, which apply more generally to adaptive control of dynamic systems and to classes of Partially Observable Markov Decision Process (POMDP) problems. These methods are based on approximation in value space and the rollout approach, admit a straightforward implementation, and provide improved performance over various heuristic approaches. For the Wordle puzzle, they yield on-line solution strategies that are very close to optimal at relatively modest computational cost. Our methods are viable for more complex versions of Wordle and related search problems, for which an optimal strategy would be impossible to compute. They are also applicable to a wide range of adaptive sequential decision problems that involve an unknown or frequently changing environment whose parameters are estimated on-line.

研究动机与目标

• 开发一种可扩展、自适应的强化学习方法，用于求解Wordle谜题，该问题被建模为具有不确定性下序贯决策的POMDP。
• 通过rollout策略迭代框架，改进如最大信息增益和'最快速下降'等启发式策略。
• 证明所提方法在问题规模增大时（如6字母Wordle变体）仍保持高效与有效。
• 将该方法的适用范围扩展至更广泛的自适应控制与部分可观测状态下的序贯搜索问题，尤其适用于未知或动态变化的环境。
• 为最优解因状态空间指数级增长而难以计算的问题，提供一种计算上可行的精确动态规划替代方案。

提出的方法

• 该方法采用rollout算法，从基础启发式策略（如最大信息增益）出发，仅执行一次策略改进步骤，以生成更优的rollout策略。
• 结合价值函数近似与rollout方法，迭代优化策略，将基础启发式策略的成本函数视为最优成本的高估。
• 将Wordle建模为POMDP，其中隐藏状态为谜底单词，每次猜测通过颜色编码反馈提供部分、随机的观测信息。
• 在每一步，通过条件熵减少计算期望信息增益，最小化H(Θ|Z_u)，以选择下一个最优猜测单词。
• 每次猜测后，利用贝叶斯更新方法更新对可能谜底单词的信念状态，实现不确定性下的自适应决策。
• 该方法计算效率高，在6字母Wordle中平均求解时间仅需数秒，且可通过粒子滤波或模拟方法扩展至非均匀词频分布场景。

实验结果

研究问题

• RQ1 基于rollout的强化学习方法是否能显著优于最大信息增益等启发式策略，用于求解Wordle谜题？
• RQ2 在使用价值函数近似与策略改进求解Wordle时，计算高效的策略能接近最优解多远？
• RQ3 所提方法在更大规模的Wordle变体（如6字母词）中能实现多大程度的可扩展性，尤其当精确动态规划变得不可行时？
• RQ4 在谜底词选择概率分布非均匀时，该方法表现如何？此时最优解计算不切实际。
• RQ5 rollout方法能否推广至其他具有部分可观测状态的自适应控制与序贯搜索问题？

主要发现

• 在5字母Wordle中，使用最佳首猜词'salet'时，rollout策略相比最优基础启发式策略（最大信息增益）性能提升超过0.4%。
• 在6字母Wordle中，该方法实现了平均数秒级的求解时间，证明了其在搜索空间指数级增长下的可扩展性。
• 在6字母Wordle实验中，使用'ambros'作为首猜词时，硬模式下平均猜测次数降至3.16，普通模式下为3.30。
• 在所有测试配置中，该方法显著优于三种基础启发式策略：最大信息增益、'最快速下降'与'最大期望概率'。
• 该方法在非均匀词频分布下依然可行，主要计算开销为信念状态更新，可通过模拟或粒子滤波处理。
• 理论与实证结果支持将rollout解释为求解贝尔曼方程的牛顿型一步，解释了其相对于基础策略的显著性能提升。