[论文解读] Towards Efficient Detection and Optimal Response against Sophisticated Opponents

Tianpei Yang, Zhaopeng Meng+4 more|arXiv (Cornell University)|Sep 12, 2018

Reinforcement Learning in Robotics参考文献 15被引用 4

一句话总结

该论文提出 Bayes-ToMoP，一种新颖的贝叶斯心智理论（Theory of Mind）框架，结合贝叶斯策略复用（Bayesian Policy Reuse）与递归推理，以在双人对抗博弈中检测并最优响应复杂对手的平稳策略、非平稳策略或此前未见过的策略。该方法在理论最优性保证下实现最先进性能，并可通过深度贝叶斯-ToMoP自然扩展至深度强化学习。

ABSTRACT

Multiagent algorithms often aim to accurately predict the behaviors of other agents and find a best response accordingly. Previous works usually assume an opponent uses a stationary strategy or randomly switches among several stationary ones. However, an opponent may exhibit more sophisticated behaviors by adopting more advanced reasoning strategies, e.g., using a Bayesian reasoning strategy. This paper proposes a novel approach called Bayes-ToMoP which can efficiently detect the strategy of opponents using either stationary or higher-level reasoning strategies. Bayes-ToMoP also supports the detection of previously unseen policies and learning a best-response policy accordingly. We provide a theoretical guarantee of the optimality on detecting the opponent's strategies. We also propose a deep version of Bayes-ToMoP by extending Bayes-ToMoP with DRL techniques. Experimental results show both Bayes-ToMoP and deep Bayes-ToMoP outperform the state-of-the-art approaches when faced with different types of opponents in two-agent competitive games.

研究动机与目标

• 解决现有方法的局限性，即假设对手仅使用平稳策略或随机切换策略，而无法应对更具复杂推理能力的对手。
• 实现对非平稳策略及更高级推理策略（如贝叶斯推理）的准确检测，适用于竞争性多智能体环境。
• 支持对先前未见过的对手策略的检测，并在线学习最优响应。
• 为所提出框架下最优策略检测提供理论保证。
• 将该方法扩展至深度强化学习设置，以实现对大规模状态空间和动作空间的可扩展性。

提出的方法

• Bayes-ToMoP 将贝叶斯策略复用（BPR）与心智理论（ToM）相结合，通过建模对手策略的递归信念，实现对已知与未知策略的检测。
• 通过观察信号（如奖励）对策略库进行信念更新，以估计对手策略的概率分布。
• 该框架采用递归嵌套信念来建模更高阶推理，例如对手对智能体信念的推理，从而实现对基于心智理论策略的检测。
• 通过维护随新观测动态演化的信念分布，支持动态策略检测，实现实时适应。
• 深度变体 deep Bayes-ToMoP 用神经网络替代表格值函数，实现对大规模环境的可扩展性。
• 该方法包含一个置信度机制，根据信念不确定性自适应调整检测灵敏度，提升对策略切换的鲁棒性。

实验结果

研究问题

• RQ1 多智能体系统能否检测并最优响应使用更高阶推理策略（如贝叶斯推理）的对手，而不仅限于简单的平稳策略或切换策略？
• RQ2 智能体如何检测对手是否正在使用此前未见过的策略，并在无先验知识的情况下学习最优响应？
• RQ3 在递归信念建模下，策略检测的最优性可提供何种理论保证？
• RQ4 将心智理论推理与 BPR 相结合，相较于现有方法，如何提升检测准确率与响应质量？
• RQ5 该框架在多大程度上可扩展至深度强化学习设置，以应对大规模、连续动作空间环境？

主要发现

• Bayes-ToMoP 在多个双人对抗博弈中，无论在表格型环境还是深度学习环境中，均优于最先进方法，包括 BPR+、Bayes-Pepper、DRON 和 deep BPR+。
• 在 Thieves and Hunters 和 Soccer 游戏中，当面对使用 ToM 基础策略（OToMoP0 和 OToMoP0-s）的对手时，Bayes-ToMoP 的平均胜率显著高于竞争对手。
• Bayes-ToMoP 在 200 个回合内成功检测到对未见过策略的切换，并学习到最优响应，而 Bayes-Pepper 因依赖固定策略库而完全失败。
• 深度变体 deep Bayes-ToMoP 在学习新策略方面表现与 deep BPR+ 相当或更优，证明其在大规模状态空间中的可扩展性。
• DRON 表现显著不佳（平均奖励 ≈ 0.7），因其固定混合专家架构无法适应新对手策略。
• 理论分析证实，在所假设的信念模型下，Bayes-ToMoP 能够实现对手策略的最优检测，确保收敛至最优响应。