[论文解读] Using Reinforcement Learning to Validate Empirical Game-Theoretic Analysis: A Continuous Double Auction Study

Mason Wright|arXiv (Cornell University)|Apr 22, 2016

Reinforcement Learning in Robotics参考文献 22被引用 3

一句话总结

本文提出使用强化学习（RL）来验证通过经验博弈论分析（EGTA）在连续双重拍卖市场中识别出的均衡策略配置的战略稳定性。通过在EGTA导出的均衡上训练多种RL算法（包括Q-learning、Sarsa和POMCP），研究发现未发现显著的收益提升，为EGTA策略配置的遗憾值可忽略不计提供了强有力的实证证据，即使在更广泛策略空间的测试下亦如此。

ABSTRACT

Empirical game-theoretic analysis (EGTA) has recently been applied successfully to analyze the behavior of large numbers of competing traders in a continuous double auction market. Multiagent simulation methods like EGTA are useful for studying complex strategic environments like a stock market, where it is not feasible to solve analytically for the rational behavior of each agent. A weakness of simulation-based methods in strategic settings, however, is that it is typically impossible to prove that the strategy profile assigned to the simulated agents is stable, as in a Nash equilibrium. I propose using reinforcement learning to analyze the regret of supposed Nash-equilibrium strategy profiles found by EGTA. I have developed a new library of reinforcement learning tools, which I have integrated into an extended version of the market simulator from our prior work. I provide evidence for the effectiveness of our library methods, both on a suite of benchmark problems from the literature, and on non-equilibrium strategy profiles in our market environment. Finally, I use our new reinforcement learning tools to provide evidence that the equilibria found by EGTA in our recent continuous double auction study are likely to have only negligible regret, even with respect to an extended strategy space.

研究动机与目标

• 为解决EGTA在验证策略配置是否为真正稳定的纳什均衡时，因策略空间采样受限而存在的局限性。
• 开发并验证一套强化学习（RL）算法，能够检测从EGTA导出的策略配置中的有利偏离。
• 提供实证证据，表明在连续双重拍卖环境中，EGTA识别出的均衡具有鲁棒性，即使在更广泛的策略空间下测试亦如此。
• 评估RL方法在检测非均衡行为以及通过多种算法方法确认均衡配置稳定性方面的有效性。

提出的方法

• 实现了一个包含Q-learning、Sarsa(λ)和POMCP的RL工具库，通过引入块编码、经验回放和资格迹等增强技术，以提高学习的稳定性和速度。
• 将RL工具库集成到先前市场模拟器的扩展版本中，以实现在真实连续双重拍卖环境中测试EGTA策略配置。
• 开展实验，比较RL智能体在非均衡策略配置（以验证RL有效性）和EGTA均衡策略配置（以测试稳定性）下的表现。
• 允许RL智能体在买入或卖出动作之间进行选择，以测试其是否能超越固定的EGTA策略，从而模拟策略灵活性。
• 采用多种RL算法，其机制各不相同（表格型与蒙特卡洛树搜索），以增强结果的可信度并减少单一方法带来的偏差。
• 在基准问题（如RockSample和Sutton的网格世界）上评估RL实现，以确保其正确性，再将其应用于市场模拟。

实验结果

研究问题

• RQ1 在连续双重拍卖环境中，强化学习能否检测到对非均衡策略配置的有利偏离？
• RQ2 当与EGTA识别出的均衡配置对弈时，强化学习是否无法找到更优策略，从而表明遗憾值较低？
• RQ3 在测试均衡稳定性时，不同RL算法（如Q-learning与POMCP）在性能和计算效率方面如何比较？
• RQ4 允许RL智能体在买入或卖出动作之间选择，是否会导致其收益高于固定EGTA策略，从而表明策略配置可能存在不稳定性？
• RQ5 在未完全探索完整策略空间的情况下，实证RL结果在多大程度上能支持EGTA策略配置具有战略稳定性的主张？

主要发现

• 所有RL方法——Q-learning、Sarsa(λ)和POMCP——在所有测试环境中均达到性能平台期，其收益水平与EGTA均衡策略配置相当，表明未发现显著改进。
• 在FlipKnown设置中，POMCP在任何环境中均未超越EGTA均衡，95%置信区间与均衡收益重叠，且在一种情况（B-1k-eq）中，POMCP表现显著更差。
• 当允许RL智能体在买入或卖出之间选择时，其平均收益始终高于固定EGTA策略，表明EGTA策略不易被利用。
• RL方法成功改进了非均衡策略配置，证实其具备检测并利用策略弱点的能力。
• 由于计算成本高，POMCP的效率显著低于经典RL方法，导致置信区间较宽且样本量有限，尤其在高模拟次数时更为明显。
• 多种RL算法的组合应用，经基准问题验证并能有效检测非均衡行为，为EGTA策略配置的战略稳定性提供了强有力的实证支持。