[论文解读] Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings

Tom Everitt, Pedro A. Ortega+2 more|arXiv (Cornell University)|Feb 26, 2019

Game Theory and Applications参考文献 58被引用 15

一句话总结

本文引入因果影响图（CIDs）以系统分析单动作设置下智能体的激励，识别智能体被激励观察或控制的变量。它建立了基于 d-连接和有向路径的图形化标准，可精确检测观察与干预激励，应用于人工智能系统中的公平性与奖励篡改问题。

ABSTRACT

Agents are systems that optimize an objective function in an environment. Together, the goal and the environment induce secondary objectives, incentives. Modeling the agent-environment interaction using causal influence diagrams, we can answer two fundamental questions about an agent's incentives directly from the graph: (1) which nodes can the agent have an incentivize to observe, and (2) which nodes can the agent have an incentivize to control? The answers tell us which information and influence points need extra protection. For example, we may want a classifier for job applications to not use the ethnicity of the candidate, and a reinforcement learning agent not to take direct control of its reward mechanism. Different algorithms and training paradigms can lead to different causal influence diagrams, so our method can be used to identify algorithms with problematic incentives and help in designing algorithms with better incentives.

研究动机与目标

• 开发一种系统化方法，用于识别决策环境中的智能体激励。
• 解决缺乏正式标准以判断智能体是否具有观察或控制特定变量的激励的问题。
• 提供一种图形化框架，以检测机器学习与强化学习系统中的有害激励。
• 通过识别需防范观察或操纵的节点，支持设计更安全、更稳健的智能体。
• 使用因果图形式化并证明观察与干预激励的图形条件。

提出的方法

• 使用因果影响图（CIDs）建模智能体-环境交互，其中包含决策节点、效用节点和机会节点，并通过因果箭头连接。
• 将观察激励定义为信息价值，即观察某节点可提升预期效用。
• 建立图形化标准：当在给定决策和可用观测的条件下，节点 X 与可影响的效用节点存在 d-连接时，X 具有观察激励。
• 将干预激励定义为控制价值，即影响某节点可提升预期效用。
• 建立标准：非决策节点 X 具有干预激励，当且仅当在移除非必要信息链接后的简化图中，存在从 X 到效用节点的有向路径。
• 使用完备性构造证明标准的必要性与充分性，表明对某些节点的干预可严格提升预期效用。

实验结果

研究问题

• RQ1 在因果模型中，智能体对哪些变量具有观察激励，以及如何通过图形化方法确定？
• RQ2 在何种条件下，智能体具有干预非决策节点以影响效用的激励？
• RQ3 如何利用因果影响图检测公平机器学习系统中的代理使用？
• RQ4 哪些条件会导致智能体对奖励机制或环境产生篡改激励？
• RQ5 能否形式化证明图形标准可完整刻画观察与干预激励？

主要发现

• 当且仅当在给定决策和可用观测的条件下，节点 X 与可影响的效用节点存在 d-连接时，X 具有观察激励。
• 当且仅当在移除非必要信息链接后的简化图中，存在从非决策节点 X 到效用节点的有向路径时，X 具有干预激励。
• 观察激励标准可检测变量是否被用作敏感属性的代理，从而为机器学习系统中的公平性分析提供支持。
• 干预激励标准可揭示智能体在何种情况下被激励操纵其环境，例如问答系统通过回答影响世界状态。
• 所提标准具有必要性与充分性，形式化证明通过完备性构造完成，表明对特定节点的观察或干预可严格提升效用。
• 该框架即使在变量未被直接观测或控制时，也能通过分析因果图中的结构路径检测激励。