[论文解读] Reinforcement Learning Under Moral Uncertainty

Adrien Ecoffet, Joel Lehman|arXiv (Cornell University)|Jun 8, 2020

Reinforcement Learning in Robotics参考文献 52被引用 11

一句话总结

本文提出了一种在道德不确定性下的强化学习框架，其中智能体通过比例发言权等原则，在不同伦理理论（如功利主义和义务论）之间进行权衡。该研究提出了新型训练方法——方差投票、迭代纳什议价和二次成本调节，以处理不可比较的奖励函数，表明道德不确定性能够缓解极端行为，并在网格世界道德困境中实现有原则的权衡。

ABSTRACT

An ambitious goal for machine learning is to create agents that behave ethically: The capacity to abide by human moral norms would greatly expand the context in which autonomous agents could be practically and safely deployed, e.g. fully autonomous vehicles will encounter charged moral decisions that complicate their deployment. While ethical agents could be trained by rewarding correct behavior under a specific moral theory (e.g. utilitarianism), there remains widespread disagreement about the nature of morality. Acknowledging such disagreement, recent work in moral philosophy proposes that ethical behavior requires acting under moral uncertainty, i.e. to take into account when acting that one's credence is split across several plausible ethical theories. This paper translates such insights to the field of reinforcement learning, proposes two training methods that realize different points among competing desiderata, and trains agents in simple environments to act under moral uncertainty. The results illustrate (1) how such uncertainty can help curb extreme behavior from commitment to single theories and (2) several technical complications arising from attempting to ground moral philosophy in RL (e.g. how can a principled trade-off between two competing but incomparable reward functions be reached). The aim is to catalyze progress towards morally-competent agents and highlight the potential of RL to contribute towards the computational grounding of moral philosophy.

研究动机与目标

• 解决在没有单一道德理论被普遍接受的情况下，强化学习中的伦理决策挑战。
• 将道德不确定性的哲学概念转化为计算上可实现的强化学习框架。
• 开发公平平衡不同伦理理论影响力的方法，基于其可信度，即使奖励函数不可比较。
• 评估道德不确定性是否能减少因过度坚持单一伦理框架而引发的极端行为。
• 突出在多目标和不可比较奖励设置下，将道德哲学与强化学习对齐的技术挑战。

提出的方法

• 提出一种框架，智能体在道德不确定性下通过为多个伦理理论（如功利主义、义务论）分配可信度来行动。
• 引入方差投票方法，基于各理论下奖励方差选择策略，以实现鲁棒性。
• 应用迭代纳什议价以在不可比较的伦理奖励函数之间找到稳定权衡。
• 在纳什投票中使用二次成本正则化，以改善收敛性并减少不稳定性。
• 在模拟电车难题的网格世界环境中测试不确定性下的伦理行为。
• 实施比例发言权原则，确保每个伦理理论的影响与其可信度成比例，而不受奖励尺度影响。

实验结果

研究问题

• RQ1 在道德不确定性下，强化学习智能体如何平衡多个不可比较的伦理理论？
• RQ2 在强化学习中引入道德不确定性是否能减少因过度坚持单一伦理框架而引发的极端行为？
• RQ3 当奖励函数本质上不可比较时，将道德哲学应用于强化学习面临哪些技术挑战？
• RQ4 不同投票机制（如方差投票、纳什议价）在稳定不确定性下的伦理决策方面表现如何？
• RQ5 比例发言权原则能否在强化学习中有效实施，以确保每个伦理理论获得公平的影响力？

主要发现

• 道德不确定性通过防止对单一伦理理论的过度承诺，有助于遏制极端行为，例如总是为拯救多数人而牺牲一人。
• 方差投票与迭代纳什议价在实现功利主义与义务论伦理之间的稳定、直观权衡方面展现出潜力。
• 当奖励尺度不匹配或存在对抗性设置时，部分投票方法（如方差投票、迭代纳什）表现出不稳定性，表明其对实现细节敏感。
• 使用二次成本正则化显著改善了基于纳什方法的收敛性并减少了振荡，尤其在复杂的双电车问题中表现明显。
• 在守卫电车问题中，未知对手下的纳什投票结合二次成本表现出随时间推移的稳定性提升，尽管收敛性仍具挑战。
• 结果表明，即使伦理理论不可比较，道德不确定性仍能引导产生合乎伦理的策略，支持在强化学习中实现计算上可行的道德推理。