[论文解读] On Automating the Doctrine of Double Effect

Naveen Sundar Govindarajulu, Selmer Bringsjord|arXiv (Cornell University)|Mar 27, 2017

Logic, Reasoning, and Knowledge参考文献 15被引用 10

一句话总结

本文提出了一种使用一阶模态逻辑——具体为义务认知事件演算（deontic cognitive event calculus）——的形式化框架，以在人工智能系统中自动化实现双重效应学说（DDE）。该框架支持构建符合DDE的自主智能体，并可对现有AI系统进行DDE合规性验证，成功模拟了经典道德困境，并在规划与部分可观察马尔可夫决策过程（POMDP）模型中展示了其可行性。

ABSTRACT

The doctrine of double effect ($\mathcal{DDE}$) is a long-studied ethical principle that governs when actions that have both positive and negative effects are to be allowed. The goal in this paper is to automate $\mathcal{DDE}$. We briefly present $\mathcal{DDE}$, and use a first-order modal logic, the deontic cognitive event calculus, as our framework to formalize the doctrine. We present formalizations of increasingly stronger versions of the principle, including what is known as the doctrine of triple effect. We then use our framework to simulate successfully scenarios that have been used to test for the presence of the principle in human subjects. Our framework can be used in two different modes: One can use it to build $\mathcal{DDE}$-compliant autonomous systems from scratch, or one can use it to verify that a given AI system is $\mathcal{DDE}$-compliant, by applying a $\mathcal{DDE}$ layer on an existing system or model. For the latter mode, the underlying AI system can be built using any architecture (planners, deep neural networks, bayesian networks, knowledge-representation systems, or a hybrid); as long as the system exposes a few parameters in its model, such verification is possible. The role of the $\mathcal{DDE}$ layer here is akin to a (dynamic or static) software verifier that examines existing software modules. Finally, we end by presenting initial work on how one can apply our $\mathcal{DDE}$ layer to the STRIPS-style planning model, and to a modified POMDP model.This is preliminary work to illustrate the feasibility of the second mode, and we hope that our initial sketches can be useful for other researchers in incorporating DDE in their own frameworks.

研究动机与目标

• 将双重效应学说（DDE）以一种可支持人工智能系统自动化的形式进行形式化。
• 解决先前形式化方法在计算可实现性方面的局限性，或在处理信念、意图等内涵状态时的不足。
• 支持两种应用模式：(1) 从零开始构建符合DDE的系统，(2) 通过DDE层验证现有AI系统的合规性。
• 在标准AI模型（如STRIPS与POMDP）中展示该框架的可行性。
• 通过在逻辑上严谨地编码意图、后果与效用权衡，支持自主智能体的伦理推理。

提出的方法

• 采用义务认知事件演算（DCEC），一种具有认识、信念与义务算子的一阶模态逻辑，以形式化DDE。
• 编码DDE条件：非意图伤害、伤害作为副作用，以及利益与伤害比率超过阈值，使用量化效用表达式。
• 引入一个DDE层，可应用于任意AI系统（规划器、神经网络、贝叶斯网络），通过暴露关键参数实现验证。
• 使用推理规则（R1–R14）建模时间、意图与因果关系，包括反事实推理与信念传播。
• 将三重效应学说形式化为扩展，捕捉更精细的伦理区分。
• 将该框架应用于STRIPS风格规划与修改后的POMDP模型，以说明其在真实AI架构中的验证与集成。

实验结果

研究问题

• RQ1 如何以一种支持AI系统自动化的形式编码双重效应学说？
• RQ2 基于逻辑的框架能否在避免外延系统常见不一致性的前提下，处理DDE中至关重要的内涵状态（如信念、意图）？
• RQ3 多大程度上可将DDE合规层适配到现有AI系统，而不论其底层架构如何？
• RQ4 该框架如何应用于标准AI规划与决策模型（如STRIPS与POMDP）？
• RQ5 能否通过形式化、基于逻辑的验证层，实现对AI系统伦理合规性的验证？

主要发现

• 义务认知事件演算成功地以完整支持内涵算子与量化效用的方式形式化了DDE，克服了先前逻辑-编程方法的局限性。
• 该框架支持既可构建符合DDE的智能体，也可通过即插即用的DDE层验证现有AI系统的合规性，且不依赖底层AI架构。
• 系统正确模拟了人类伦理判断研究中使用的经典道德困境，与人类使用DDE的实证发现一致。
• 该框架支持三重效应学说作为更强形式，展示了其在精细伦理推理方面的能力。
• 与STRIPS和POMDP模型的初步集成表明，DDE验证在标准AI规划与决策框架中是可行的。
• 使用具有时间与认识算子的模态逻辑，使得对意图、信念与因果链的严谨建模成为可能，这些是伦理推理的核心要素。