[论文解读] When Is It Acceptable to Break the Rules? Knowledge Representation of Moral Judgement Based on Empirical Data

Edmond Awad, Sydney Levine+7 more|arXiv (Cornell University)|Jan 19, 2022

Psychology of Moral and Emotional Judgment参考文献 57被引用 8

一句话总结

本文提出SEP-nets，一种广义的CP-net框架，通过整合情境特定的上下文信息与双过程推理（快速启发式思维与缓慢的反思性思维），建模人类在规则违背判断中的道德灵活性。基于线上插队情景的实证数据，研究证明道德可接受性由基于结果的（后果主义）与基于共识的（契约主义）推理共同塑造，使AI系统能够推理出在何种情况下违背规则是道德上可接受的。

ABSTRACT

One of the most remarkable things about the human moral mind is its flexibility. We can make moral judgments about cases we have never seen before. We can decide that pre-established rules should be broken. We can invent novel rules on the fly. Capturing this flexibility is one of the central challenges in developing AI systems that can interpret and produce human-like moral judgment. This paper details the results of a study of real-world decision makers who judge whether it is acceptable to break a well-established norm: ``no cutting in line.'' We gather data on how human participants judge the acceptability of line-cutting in a range of scenarios. Then, in order to effectively embed these reasoning capabilities into a machine, we propose a method for modeling them using a preference-based structure, which captures a novel modification to standard ``dual process'' theories of moral judgment.

研究动机与目标

• 计算建模人类在何种情况下认为违背既定规则（如插队）在道德上可接受。
• 利用实证数据捕捉启发式思维（系统1）与反思性思维（系统2）在道德判断中的相互作用。
• 通过引入情境依赖的评估变量，将经典CP-nets扩展为可建模情境敏感道德偏好的形式。
• 开发一种形式化框架，使AI系统能够超越僵化的规则遵循，实现动态道德决策中的道德可接受性推理。

提出的方法

• 收集200个关于插队情景的假设性人类道德判断，涵盖不同原因、地点与结果。
• 识别关键情景变量（SVs），如插队原因、地点及插队者福祉，以及结果变量（EVs），如对他人影响与观察者间的一致性。
• 提出SEP-nets作为CP-nets的泛化形式，通过SVs与EVs将偏好与情境上下文关联，实现情境感知的道德推理。
• 通过区分基于结果的（系统2）与基于共识的（系统2）反思性推理，同时结合规则不可侵犯性（系统1）的启发式思维，建模双过程推理。
• 利用偏好结构编码道德可接受性判断，支持对复杂、情境依赖的道德权衡进行推理。
• 通过支持从数据生成偏好，为未来与规划系统集成，实现预测性AI的偏好生成，扩展该框架。

实验结果

研究问题

• RQ1 在何种条件下，人们认为违背既定规则（如插队）在道德上可接受？
• RQ2 基于结果与基于共识的推理（系统2）如何影响人们对规则违背的道德判断？
• RQ3 在道德决策中，基于启发式、规则依赖的直觉（系统1）在多大程度上会覆盖反思性推理？
• RQ4 形式化偏好模型能否捕捉人类在规则违背情景中道德灵活性的复杂性？
• RQ5 如何将从实证数据中推导出的道德偏好嵌入AI系统，以实现动态、情境敏感的道德推理？

主要发现

• 当插队原因具有紧迫性（如医疗紧急情况）或插队者福祉较高时，参与者认为插队在道德上可接受，表明存在基于结果的推理。
• 道德可接受性显著受情境中他人是否同意规则违背的影响，支持契约主义推理作为道德判断的关键组成部分。
• 在某些情况下，参与者将规则视为不可侵犯，无论情境如何，表明对系统1启发式思维的强烈依赖。
• 数据表明，现有CP-net形式化不足以建模观察到的道德判断，因此有必要开发SEP-nets。
• SEP-nets成功捕捉了情境背景、结果影响与共识之间的相互作用，实现了对道德灵活性的准确建模。
• 本研究为生成与道德一致的行动方案奠定了基础，通过将道德偏好数据转化为形式化、可与计划兼容的表示。