[论文解读] Subtree perfectness, backward induction, and normal-extensive form equivalence for single agent sequential decision making under arbitrary choice functions

Nathan Huntley, Matthias C. M. Troffaes|arXiv (Cornell University)|Sep 16, 2011

Experimental Behavioral Economics Studies参考文献 22被引用 5

一句话总结

本文将子树完美性（subtree perfectness）引入为单智能体序列决策中任意选择函数下子博弈完美性的推广，无需依赖概率或效用。研究证明子树完美性等价于标准-扩展形式等价性，并且是后向归纳法在决策树中产生一致解的充分条件，但非必要条件。

ABSTRACT

We revisit and reinterpret Selten's concept of subgame perfectness in the context of single agent normal form sequential decision making, which leads us to the concept of subtree perfectness. Thereby, we extend Hammond's characterization of extensive form consequentialist consistent behaviour norms to the normal form and to arbitrary choice functions under very few assumptions. In particular, we do not need to assume probabilities on any event or utilities on any reward. We show that subtree perfectness is equivalent to normal-extensive form equivalence, and is sufficient, but, perhaps surprisingly, not necessary, for backward induction to work.

研究动机与目标

• 将塞尔滕（Selten）的子博弈完美性推广至使用任意选择函数的单智能体决策问题。
• 以与非概率性、非基于效用的选择函数兼容的方式重新定义标准形式与扩展形式。
• 研究在不假设期望效用最大化的情况下，后向归纳法在一般选择函数下何时仍有效。
• 建立标准形式与扩展形式解等价的条件。
• 阐明行为-状态独立性与结构一致性在决策建模中的作用。

提出的方法

• 定义一个选择函数，为任意给定的条件事件从博弈（可能性空间上的收益函数集合）中选择非空子集。
• 引入子树完美性，要求子树中的最优策略与从完整树中推导出的策略一致。
• 通过决策树上的结构归纳法，证明标准形式解与扩展形式解的等价性。
• 通过递归子树分解，从标准形式的选择函数构造扩展形式表示。
• 应用选择函数的性质（例如条件下的一致性）以确保子树间解的稳定性。
• 证明在温和假设下，子树完美性蕴含标准-扩展形式等价性，反之亦然。

实验结果

研究问题

• RQ1 在何种条件下，单智能体序列决策问题中的选择函数是子树完美的？
• RQ2 当期望效用最大化不适用时，后向归纳法在何种情况下仍有效？
• RQ3 如何在任意选择函数下使标准形式与扩展形式表示等价？
• RQ4 子树完美性是否为后向归纳法产生一致解的必要条件？
• RQ5 何种结构性质可确保子树中的最优策略独立于更大的决策树？

主要发现

• 对于满足基本一致性性质的任意选择函数，子树完美性等价于标准-扩展形式等价性。
• 当选择函数为子树完美时，后向归纳法可保证解的一致性，但子树完美性并非后向归纳法有效的必要条件。
• 从标准形式选择函数构造扩展形式解时，所有子树中的最优策略均被保持。
• 即使不假设概率、效用或全序关系，标准形式与扩展形式之间的等价性依然成立。
• 证明依赖于结构归纳法，以及选择函数行为在子树限制下保持不变的性质。
• 本文表明，行为-状态独立性足以确保标准形式与扩展形式解之间的一致性。