[论文解读] Robust Multi-agent Counterfactual Prediction

Alexander Peysakhovich, Christian Kroer+1 more|arXiv (Cornell University)|Jan 1, 2019

Auction Theory and Applications被引用 4

一句话总结

本文提出鲁棒多智能体反事实预测（RMAC），一种在对智能体私有信息和效用函数存在不确定性时，计算多智能体系统中反事实预测边界的方法。通过分析对理性行为和模型假设的违反情况，RMAC 在无需假设均衡或恢复效用函数的前提下，提供了首阶边界，并在拍卖、学校选择和社交选择场景中得到验证。

ABSTRACT

We consider the problem of using logged data to make predictions about what would happen if we changed the `rules of the game' in a multi-agent system. This task is difficult because in many cases we observe actions individuals take but not their private information or their full reward functions. In addition, agents are strategic, so when the rules change, they will also change their actions. Existing methods (e.g. structural estimation, inverse reinforcement learning) assume that agents' behavior comes from optimizing some utility or that the system is in equilibrium. They make counterfactual predictions by using observed actions to learn the underlying utility function (a.k.a. type) and then solving for the equilibrium of the counterfactual environment. This approach imposes heavy assumptions such as the rationality of the agents being observed and a correct model of the environment and agents' utility functions. We propose a method for analyzing the sensitivity of counterfactual conclusions to violations of these assumptions, which we call robust multi-agent counterfactual prediction (RMAC). We provide a first-order method for computing RMAC bounds. We apply RMAC to classic environments in market design: auctions, school choice, and social choice.

研究动机与目标

• 解决在无法观测到智能体私有信息和效用函数时，如何在多智能体系统中做出可靠反事实预测的挑战。
• 克服现有方法（如智能体理性假设和模型正确设定）在结构估计和逆向强化学习中所依赖的强假设。
• 开发一个框架，量化反事实预测对这些假设违反的敏感性。
• 提供一种实用的首阶方法，用于计算反事实结果的鲁棒边界，而无需完全掌握智能体类型或均衡行为。

提出的方法

• 提出一种鲁棒优化框架，通过考虑对假设的智能体理性行为和模型正确性的偏离，计算反事实结果的边界。
• 使用首阶近似方法高效计算这些边界，从而实现对复杂环境的可扩展性。
• 引入一种敏感性分析机制，评估在理性行为和模型结构出现合理违反时，反事实预测的变化程度。
• 将该方法应用于智能体行为具有策略性，且观测到的行为无法揭示完整私有信息或奖励函数的环境。
• 采用对偶公式，刻画在智能体类型和效用函数存在不确定性时，反事实结果最坏偏离情况。
• 在典型市场设计问题（拍卖、学校选择和社会选择）中验证该方法，这些场景中均衡假设常被违反。

实验结果

研究问题

• RQ1 当智能体的私有信息和效用函数不可观测时，如何在多智能体系统中进行反事实预测？
• RQ2 违反智能体理性假设对反事实预测可靠性有何影响？
• RQ3 如何量化多智能体环境中模型误设对反事实结果的敏感性？
• RQ4 我们能否在不假设均衡或完全掌握智能体类型的情况下，计算反事实预测的鲁棒边界？

主要发现

• RMAC 提供了对反事实结果的可计算边界，对智能体理性行为和模型假设的违反具有鲁棒性。
• 计算 RMAC 边界的首阶方法具有可扩展性，适用于现实世界市场设计问题，如拍卖和学校选择。
• 敏感性分析表明，当智能体不完全理性或模型误设时，标准反事实方法可能产生误导性预测。
• 在所有测试环境（拍卖、学校选择和社会选择）中，RMAC 均揭示了朴素反事实预测与鲁棒边界之间的显著差异，凸显了模型风险。
• 该方法表明，忽略智能体类型和效用函数的不确定性会导致过度自信且可能错误的反事实结论。
• RMAC 计算出的边界比朴素最坏情况边界更紧，显示出在政策和机制设计中更高的实际应用价值。