[论文解读] Regret Circuits: Composability of Regret Minimizers

Gabriele Farina, Christian Kroer+1 more|arXiv (Cornell University)|Nov 6, 2018

Metaheuristic Optimization Algorithms Research参考文献 32被引用 4

一句话总结

本文提出了一套关于在复合凸集上组合后悔最小化器的微积分方法，利用保持凸性的操作（如交集、凸包、笛卡尔积）进行构造。通过将局部后悔最小化器视为黑箱，并借助“后悔电路”框架进行组合，该方法能够构建全局有效的后悔最小化器——为博弈论和在线学习中的复杂优化问题提供了一套系统化、模块化的解决方案，包括支持策略约束的CFR算法的推广。

ABSTRACT

Regret minimization is a powerful tool for solving large-scale problems; it was recently used in breakthrough results for large-scale extensive-form game solving. This was achieved by composing simplex regret minimizers into an overall regret-minimization framework for extensive-form game strategy spaces. In this paper we study the general composability of regret minimizers. We derive a calculus for constructing regret minimizers for composite convex sets that are obtained from convexity-preserving operations on simpler convex sets. We show that local regret minimizers for the simpler sets can be combined with additional regret minimizers into an aggregate regret minimizer for the composite set. As one application, we show that the CFR framework can be constructed easily from our framework. We also show ways to include curtailing (constraining) operations into our framework. For one, they enables the construction of CFR generalization for extensive-form games with general convex strategy constraints that can cut across decision points.

研究动机与目标

• 开发一个通用框架，用于通过保持凸性的操作（如交集、凸包、笛卡尔积）构成复合凸集上的后悔最小化器。
• 通过将局部后悔最小化器视为黑箱并灵活选择算法，实现后悔最小化器的模块化构建。
• 提供一种系统化方法，将跨越多个信息集的策略约束整合到广义式博弈的后悔最小化框架中。
• 将现有的后悔最小化框架（如CFR和约束CFR）统一并推广到单一的组合微积分体系下。
• 通过拉格朗日松弛和基于投影的方法，支持约束优化中的近似可行性和精确可行性之间的权衡。

提出的方法

• 该框架基于保持凸性的操作（如交集、凸包、笛卡尔积）构建后悔最小化微积分，从较简单的后悔最小化器构造复合集合的后悔最小化器。
• 引入“后悔电路”——一种概念性与形式化的表示方式，其中局部后悔最小化器通过聚合操作连接，形成全局后悔最小化器。
• 该方法支持拉格朗日松弛和基于投影的方法来处理凸约束，允许在可行性与计算成本之间进行权衡。
• 支持对策略空间的不同部分使用不同的后悔最小化算法（如RM+、Hedge），从而提升实际性能与理论灵活性。
• 该框架在在线凸优化（OCO）设置下形式化，通过组合推理推导出收敛性保证。
• 该方法将CFR算法作为特例进行推广，表明CFR可直接通过组合单纯形后悔最小化器与适当的运算从该微积分中推导得出。

实验结果

研究问题

• RQ1 如何系统地组合通过保持凸性操作构成的复合凸集上的后悔最小化器？
• RQ2 能否通过正式的微积分框架，将反事实后悔最小化（CFR）框架表示为更简单后悔最小化器的组合？
• RQ3 如何将广义式博弈中跨越多个信息集的策略约束整合到后悔最小化框架中？
• RQ4 在后悔最小化中，拉格朗日松弛与基于投影的方法在约束强制方面存在哪些权衡？
• RQ5 该框架能否用于构建用于需要跨信息集约束的均衡精炼问题的新后悔最小化器？

主要发现

• 该后悔微积分能够利用局部后悔最小化器作为黑箱，为任意通过保持凸性操作构成的复合凸集构造后悔最小化器。
• CFR算法可直接通过将单纯形后悔最小化器与适当的聚合运算组合，从该微积分中推导得出。
• 该框架支持拉格朗日松弛和基于投影的方法处理约束，后者可保证所有迭代点的精确可行性。
• 拉格朗日松弛变体推广了约束CFR（CCFR）算法，并允许对乘子部分灵活地使用任意后悔最小化器。
• 基于投影的方法确保所有策略迭代点均保持可行，相较于CCFR中的近似可行性具有显著优势。
• 该框架首次实现了基于后悔最小化的准完美均衡计算方法，支持跨信息集约束，避免了诸如矩阵求逆等高成本操作。