[论文解读] Rational Competitive Analysis

Moshe Tennenholtz|ArXiv.org|Dec 13, 2001

Optimization and Search Problems参考文献 12被引用 11

一句话总结

本文提出了理性竞争分析（rational competitive analysis），这是一种针对多智能体系统中理性行为（即避免被支配策略）的新型竞争分析扩展。该框架被应用于出价博弈和单向交易问题，表明理性竞争策略依赖于理性行为约束，并在重复和多智能体场景中相比标准竞争分析实现了更优的后悔最小化。

ABSTRACT

Much work in computer science has adopted competitive analysis as a tool for decision making under uncertainty. In this work we extend competitive analysis to the context of multi-agent systems. Unlike classical competitive analysis where the behavior of an agent's environment is taken to be arbitrary, we consider the case where an agent's environment consists of other agents. These agents will usually obey some (minimal) rationality constraints. This leads to the definition of rational competitive analysis. We introduce the concept of rational competitive analysis, and initiate the study of competitive analysis for multi-agent systems. We also discuss the application of rational competitive analysis to the context of bidding games, as well as to the classical one-way trading problem.

研究动机与目标

• 将经典竞争分析（最初为非策略环境设计）扩展至多智能体系统，其中智能体为理性行为者。
• 开发一种规范性决策框架，将最小理性约束（即避免被支配策略）纳入竞争分析。
• 分析理性行为对重复和多智能体场景下竞争策略的影响，特别是在出价博弈和单向交易中的表现。
• 证明理性竞争分析通过过滤其他智能体的非理性行为，相比标准竞争分析能实现更优的后悔最小化。
• 形式化并求解多智能体单向交易问题，采用基于阈值的决策规则的理性竞争策略。

提出的方法

• 将理性竞争分析定义为一种规范性决策规则，排除其他智能体的被支配策略，确保仅考虑理性行为。
• 将出价博弈建模为策略型博弈，其中出价为介于 $K-T$ 和 $K$ 之间的整数，由中心选择最低出价。
• 应用加法竞争比（最小化最大后悔）评估策略，以最小化实际收益与最优收益之间的最坏情况差异。
• 通过后悔最小化推导多智能体单向交易的竞争策略：当自身价值超过基于边界 $m_i$ 和 $M_i$ 的阈值时选择参与。
• 引入两级决策规则：当另一智能体宣布最高出价 ($M_k$) 时优先参与，否则应用标准阈值规则。
• 使用后悔方程推导最优阈值：在第 $t-1$ 次迭代中，阈值为 $(M_i + m_i)/4$；在更早的迭代中，阈值为 $(2M_i + m_i)/4$。

实验结果

研究问题

• RQ1 如何将竞争分析推广至其他智能体为理性而非对抗性行为的多智能体系统？
• RQ2 排除被支配策略对重复和多智能体博弈中的竞争比和后悔有何影响？
• RQ3 在相同假设下，出价博弈中的理性竞争策略与标准竞争策略有何不同？
• RQ4 在理性竞争分析下，多智能体单向交易问题中的最优策略结构是怎样的？
• RQ5 与经典竞争分析相比，理性竞争分析如何在重复博弈中改善后悔最小化？

主要发现

• 通过排除其他智能体的被支配策略，理性竞争分析改善了后悔最小化，从而产生更稳健的决策规则。
• 在多智能体单向交易问题中，最优策略取决于另一智能体是否宣布最高出价 ($M_k$)，若宣布则必须立即参与。
• 在第 $1$ 至 $t-2$ 次迭代中，最优参与阈值为 $(2M_i + m_i)/4$，在假设其他智能体行为理性的前提下最小化后悔。
• 在第 $t-1$ 次迭代中，当另一智能体未宣布 $M_k$ 时，阈值降至 $(M_i + m_i)/4$，反映出更高的行动紧迫性。
• 在第 $t$ 次迭代中，参与始终是最优选择，因为放弃严格被支配。
• 该框架表明，通过将理性约束纳入策略空间，理性竞争分析相比标准竞争分析能获得更紧的后悔界。