[论文解读] Toward negotiable reinforcement learning: shifting priorities in Pareto optimal sequential decision-making

Andrew Critch|arXiv (Cornell University)|Jan 5, 2017

Auction Theory and Applications参考文献 13被引用 6

一句话总结

本文提出了一种新颖的框架，用于在代理持有不同信念的环境中实现帕累托最优的多智能体强化学习。该框架引入了一种递归策略更新机制，根据每个代理信念的预测准确性动态调整优先级权重，表明在线性效用聚合下信念异质性会导致失败，且代理必须使用自身的信念来评估行动，并随时间动态调整优先级。

ABSTRACT

Existing multi-objective reinforcement learning (MORL) algorithms do not account for objectives that arise from players with differing beliefs. Concretely, consider two players with different beliefs and utility functions who may cooperate to build a machine that takes actions on their behalf. A representation is needed for how much the machine's policy will prioritize each player's interests over time. Assuming the players have reached common knowledge of their situation, this paper derives a recursion that any Pareto optimal policy must satisfy. Two qualitative observations can be made from the recursion: the machine must (1) use each player's own beliefs in evaluating how well an action will serve that player's utility function, and (2) shift the relative priority it assigns to each player's expected utilities over time, by a factor proportional to how well that player's beliefs predict the machine's inputs. Observation (2) represents a substantial divergence from naïve linear utility aggregation (as in Harsanyi's utilitarian theorem, and existing MORL algorithms), which is shown here to be inadequate for Pareto optimal sequential decision-making on behalf of players with different beliefs.

研究动机与目标

• 解决在多个代理具有不同信念和效用函数时设计帕累托最优策略的挑战。
• 形式化在参与者已知其信念分歧的AI系统中的合作决策机制。
• 开发一种递归策略框架，确保在信念异质性下顺序决策的效率与公平性。
• 识别标准线性效用聚合（如哈桑西定理）在具有信念差异的多智能体设置中的局限性。
• 为合作AI系统中的激励相容、可学习性及自然化决策奠定基础。

提出的方法

• 推导出在已知信念差异的共同知识下，任何帕累托最优策略必须满足的递归条件。
• 使用凸分析与线性代数，形式化每个代理必须使用自身信念来评估其自身行动效用的要求。
• 引入一种随时间变化的优先级权重更新规则，其与每个代理对机器输入的预测准确性成正比。
• 将推导出的递归关系与朴素的效用线性组合进行对比，证明其在信念异质性下的不足。
• 将该框架应用于类似POMDP的顺序决策场景，建模具有不同信念的代理之间的合作。
• 将分析扩展至激励相容性、自然化决策理论以及信念与效用的学习问题。

实验结果

研究问题

• RQ1 当多个代理具有不同信念和效用函数时，如何设计一种使机器策略达到帕累托最优？
• RQ2 在已知信念差异的共同知识下，帕累托最优策略必须满足何种递归结构？
• RQ3 为何在代理持有不同信念时，线性效用聚合不足以实现帕累托最优的顺序决策？
• RQ4 在此类设置中，各代理预期效用的相对优先级应如何随时间演变？
• RQ5 该框架对合作AI系统中激励相容性与学习的含义是什么？

主要发现

• 帕累托最优策略必须使用每个代理自身的信念来评估某一行动在多大程度上满足该代理的效用函数。
• 策略必须随时间动态调整代理之间的优先级权重，且调整程度与各代理信念对机器输入的预测准确性成正比。
• 朴素的效用线性聚合（如哈桑西定理所述）在代理信念不同时无法实现帕累托最优。
• 所推导的递归关系通过与预测准确性和个体信念体系保持一致，确保了效率与公平性。
• 该框架揭示了信念异质性要求脱离标准效用聚合方式，必须与每个代理的认知视角保持内部一致性。
• 结果表明，未来的合作AI系统必须整合动态、基于信念的优先级机制，而非静态或对称的加权方式。