[论文解读] Toward Idealized Decision Theory

Nate Soares, Benja Fallenstein|arXiv (Cornell University)|Jul 7, 2015

Complex Systems and Decision Making参考文献 22被引用 27

一句话总结

本文认为，当前的决策理论——因果与 evidential 决策理论——无法为超级智能系统提供稳健的理论基础，主张理想化的决策应依赖于逻辑反事实与策略选择的理论。本文提出无更新决策理论（UDT）作为在确定性、复杂环境中形式化理性决策的有前景路径。

ABSTRACT

This paper motivates the study of decision theory as necessary for aligning smarter-than-human artificial systems with human interests. We discuss the shortcomings of two standard formulations of decision theory, and demonstrate that they cannot be used to describe an idealized decision procedure suitable for approximation by artificial systems. We then explore the notions of policy selection and logical counterfactuals, two recent insights into decision theory that point the way toward promising paths for future research.

研究动机与目标

• 识别现有决策理论（evidential 与 causal）在描述超级智能系统理想化决策程序方面的局限性。
• 论证若缺乏形式化的反事实推理理论，则无法为现实世界决策提供高置信度启发式方法。
• 阐明对原则性、理想化决策程序的需求，以指导稳健且与人类对齐的人工智能设计。
• 探讨策略选择与逻辑反事实作为未来决策理论研究基础性洞见的潜力。
• 为对‘良好决策’的正式理解奠定基础，以指导先进人工智能实用决策算法的开发。

提出的方法

• 提出一种形式化的理想化决策程序，基于对环境与代理的完全知识，选择预期效用最高的策略。
• 通过将事件‘代理采取行动 a’作为条件，分析 evidential 决策理论（EDT），揭示其在确定性环境中因虚假相关性而失效。
• 通过建模对行动的干预，分析 causal 决策理论（CDT），揭示其在自指与逻辑依赖问题上的缺陷。
• 引入逻辑反事实概念，以评估在确定性系统中，即使行动在逻辑上被决定，若其不同会如何。
• 主张采用策略选择而非行动选择，将代理的完整决策规则视为选择单位。
• 提出 updateless 决策理论（UDT）作为框架，基于其在所有可能世界中的预期效用选择策略，而独立于代理的当前状态。

实验结果

研究问题

• RQ1 为何标准决策理论（如 EDT 与 CDT）无法描述确定性、超级智能系统中的理想化决策程序？
• RQ2 在仅实际采取一个行动的确定性环境中，应如何正确形式化反事实推理？
• RQ3 决策理论如何处理代理决策与世界状态之间的逻辑依赖，特别是在代理在逻辑上可被知晓的情况下？
• RQ4 策略选择（即选择完整决策规则而非单一行动）能否解决传统决策理论中的不一致性？
• RQ5 逻辑反事实在逻辑不确定性与自指情境下的理性决策中扮演何种角色？

主要发现

• evidential 决策理论在确定性环境中失效，因为对‘我采取行动 a’的条件化可能产生虚假相关性，尤其当代理的行动在逻辑上由世界状态决定时。
• causal 决策理论在自指问题上存在困难，且无法处理逻辑依赖，例如在纽科姆悖论中，正确行动取决于逻辑预测。
• 本文证明标准反事实在描述确定性代理采取不同行动时会发生什么方面是不足的。
• 策略选择通过将代理的完整决策规则作为评估单位，解决了基于行动的决策理论中的问题，更符合复杂环境中的理性选择。
• 逻辑反事实为在确定性系统中推理非实际行动提供了框架，即使这些行动在物理上不可能，也视为在逻辑上可能。
• updateless 决策理论作为有前景的替代方案浮现，其基于在所有可能世界中的预期效用选择策略，避免了 EDT 与 CDT 的陷阱。