[论文解读] On Game-Theoretic Risk Management (Part Two) -- Algorithms to Compute Nash-Equilibria in Games with Distributions as Payoffs

Stefan Raß|arXiv (Cornell University)|Nov 27, 2015

Decision-Making and Behavioral Economics参考文献 10被引用 5

一句话总结

本文提出了一种数据驱动的算法框架，用于计算两玩家零和博弈中的纳什均衡，其中收益为概率分布而非确定性数值。该框架引入了一种改进的虚拟博弈方法，结合收益密度的尾部近似和线性规划方法以确保收敛性，从而实现对具有分布型收益的多准则安全策略的实际计算。

ABSTRACT

The game-theoretic risk management framework put forth in the precursor work "Towards a Theory of Games with Payoffs that are Probability-Distributions" (arXiv:1506.07368 [q-fin.EC]) is herein extended by algorithmic details on how to compute equilibria in games where the payoffs are probability distributions. Our approach is "data driven" in the sense that we assume empirical data (measurements, simulation, etc.) to be available that can be compiled into distribution models, which are suitable for efficient decisions about preferences, and setting up and solving games using these as payoffs. While preferences among distributions turn out to be quite simple if nonparametric methods (kernel density estimates) are used, computing Nash-equilibria in games using such models is discovered as inefficient (if not impossible). In fact, we give a counterexample in which fictitious play fails to converge for the (specifically unfortunate) choice of payoff distributions in the game, and introduce a suitable tail approximation of the payoff densities to tackle the issue. The overall procedure is essentially a modified version of fictitious play, and is herein described for standard and multicriteria games, to iteratively deliver an (approximate) Nash-equilibrium. An exact method using linear programming is also given.

研究动机与目标

• 开发实用算法，用于计算收益为概率分布而非确定性数值的博弈中的纳什均衡，将博弈论风险管理从理论基础拓展至实际应用。
• 解决标准虚拟博弈在复杂分布型收益下无法收敛的问题。
• 通过计算同时考虑多个可能冲突的安全目标的防御策略，实现多准则风险管理。
• 通过定制化的近似技术与精确的线性规划解法，确保在具有分布型收益的博弈中实现收敛性和计算可行性。
• 为公用事业网络等实际系统中的风险管理提供可实施的算法，基于实证数据和基于仿真的分布估计。

提出的方法

• 使用Epanechnikov核密度估计，从实证数据（如仿真输出）中构建具有紧致紧支集和连续性的分布模型，确保有界支集和光滑性。
• 基于矩支配的偏好关系：若分布F₁的所有高阶矩均小于或等于F₂的对应矩，则F₁ ≼ F₂，从而实现对风险特征的比较。
• 引入两阶段近似：第一阶段为核密度估计；第二阶段为使用泰勒多项式对分布尾部进行近似，以保持依赖于尾部的偏好顺序。
• 通过将分布型收益替换为基于尾部近似的分布所导出的近似实值矩阵，对虚拟博弈进行改进，从而可应用标准的迭代收敛技术。
• 提出通过线性规划实现精确解法，用于计算多目标安全策略，避免迭代方法固有的不收敛问题。
• 通过加权收益聚合将多准则博弈转化为标量形式，从而在防御者多目标优化下计算最坏情况攻击者策略。

实验结果

研究问题

• RQ1 如何在收益为概率分布而非确定性数值的博弈中计算纳什均衡？
• RQ2 为何标准虚拟博弈在具有分布型收益的博弈中无法收敛，以及如何缓解此问题？
• RQ3 何种近似技术可在保证关键风险偏好顺序（基于尾部矩）的同时，实现高效计算？
• RQ4 如何在具有多个可能冲突的安全目标的博弈中计算多准则安全策略？
• RQ5 能否通过线性规划获得此类博弈的精确解，其与迭代近似方法相比表现如何？

主要发现

• 当使用朴素的核密度估计时，虚拟博弈在具有分布型收益的博弈中无法收敛，论文通过反例予以证明。
• 通过泰勒多项式实现的尾部近似即使在分布中心区域近似不准确时，仍能保持基于矩的偏好顺序（F₁ ≼ F₂），确保正确的风险比较。
• 采用尾部近似的改进虚拟博弈算法可成功计算具有分布型收益博弈的近似纳什均衡，克服了收敛性问题。
• 线性规划提供了一种精确方法来计算多目标安全策略，为易受不收敛影响的迭代方法提供了可靠的替代方案。
• 该方法可实现对多准则防御者目标下最坏情况攻击者策略的实际计算，且计算出的策略能有效抵御防御者的多目标防御。
• 即使在分布主体部分存在近似误差，该方法仍能正确识别风险偏好顺序，因为偏好关系仅依赖于尾部矩，而这些尾部矩可通过泰勒展开良好近似。