[论文解读] Tauberian theorems for general iterations of operators: applications to zero-sum stochastic games

Bruno Ziliotto|arXiv (Cornell University)|Sep 7, 2016

Economic theories and models参考文献 27被引用 8

一句话总结

本文建立了广义算子迭代的Tauber定理，证明在n阶段或λ-贴现随机博弈中值的一致收敛性，在温和条件下可推出θ-加权博弈中值的一致收敛性。此外，本文为有限状态零和随机博弈构造了一类渐近最优策略，其中玩家在各阶段使用与当前阶段权重成比例的阶段特定贴现因子，确保当θ₁ → 0时收敛至渐近值。

ABSTRACT

This paper proves several Tauberian theorems for general iterations of operators, and provides two applications to zero-sum stochastic games where the total payoff is a weighted sum of the stage payoffs. The first application is to provide conditions under which the existence of the asymptotic value implies the convergence of the values of the weighted game, as players get more and more patient. The second application concerns stochastic games with finite state space and action sets. This paper builds a simple class of asymptotically optimal strategies in the weighted game, that at each stage play optimally in a discounted game with a discount factor corresponding to the relative weight of the current stage.

研究动机与目标

• 建立随机博弈模型中算子迭代的一般Tauber定理。
• 确定n阶段或λ-贴现博弈值的一致收敛性可推出θ-加权博弈值一致收敛性的条件。
• 为有限状态随机博弈中的θ-加权博弈构造渐近最优策略。
• 通过反例证明收敛条件的紧致性，即当θ₁ → 0时，v_θ不收敛至渐近值。

提出的方法

• 采用算子方法，通过函数方程（Shapley方程）建模θ-加权博弈的值。
• 将Tauber定理应用于算子序列，以在权重序列θ的条件下推断值的收敛性。
• 构造一种策略：在每一阶段m，以贴现因子θₘ / ∑_{m'≥m} θₘ' 在贴现博弈中进行最优博弈。
• 在波兰空间Borel子集的概率测度的弱∗拓扑下分析值函数的收敛性。
• 通过具有状态依赖转移和对数吸收概率的反例，分析条件的必要性。
• 利用递归结构和吸收概率，界定特定策略下期望收益的上界。

实验结果

研究问题

• RQ1 在何种条件下，vₙ或v_λ的一致收敛性可推出一般θ-加权博弈中v_θ的一致收敛性？
• RQ2 能否构造一种基于与当前阶段权重成比例的阶段特定贴现因子的策略，使其在θ-加权随机博弈中渐近最优？
• RQ3 当θ₁ → 0时，即使θ的总变差趋于零，渐近值的存在是否足以保证v_θ收敛？
• RQ4 能否构造一个反例，使得vₙ一致收敛但v_θ在θ₁ → 0时不收敛？
• RQ5 算子方法在证明随机博弈中一般算子迭代的Tauber定理中起到何种作用？

主要发现

• 序列(vₙ)一致收敛于极限v*，满足对所有k ≠ 0*有v*(k) = 1，且v*(0*) = 0，从而确立了渐近值的存在性。
• 存在一列(θ^N)，满足θ^N₁ → 0，但v_θ^N(0,1) → 0，表明即使θ^N₁ → 0，v_θ也未必收敛至渐近值。
• 对于有限状态随机博弈，若在阶段m采用贴现因子θₘ / ∑_{m'≥m} θₘ' 的贴现博弈中进行最优博弈，则该策略在θ₁ → 0时渐近最优。
• 在温和正则性条件下，vₙ或v_λ的一致收敛性可推出对任意满足supₘ θₘ → 0的θ，v_θ的一致收敛性。
• 反例表明，即使θ的总变差趋于零，v_θ仍可能不收敛至渐近值，从而证明了条件的紧致性。
• 证明技术依赖于算子的Tauber定理，表明所构造策略保证的收益满足类似于Shapley方程的函数方程。