[论文解读] Towards Moral Autonomous Systems

Vicky Charisi, Louise A. Dennis+7 more|arXiv (Cornell University)|Mar 14, 2017

Ethics and Social Impacts of AI参考文献 48被引用 47

一句话总结

本文探讨了在自主系统中实现伦理行为的工程挑战，重点关注验证、透明度、问责制以及防止故意滥用。文章提出，伦理AI需要哲学家与工程师之间的跨学科合作，以确保伦理行为可验证、可解释，并能抵御恶意使用。

ABSTRACT

Both the ethics of autonomous systems and the problems of their technical implementation have by now been studied in some detail. Less attention has been given to the areas in which these two separate concerns meet. This paper, written by both philosophers and engineers of autonomous systems, addresses a number of issues in machine ethics that are located at precisely the intersection between ethics and engineering. We first discuss the main challenges which, in our view, machine ethics posses to moral philosophy. We them consider different approaches towards the conceptual design of autonomous systems and their implications on the ethics implementation in such systems. Then we examine problematic areas regarding the specification and verification of ethical behavior in autonomous systems, particularly with a view towards the requirements of future legislation. We discuss transparency and accountability issues that will be crucial for any future wide deployment of autonomous systems in society. Finally we consider the, often overlooked, possibility of intentional misuse of AI systems and the possible dangers arising out of deliberately unethical design, implementation, and use of autonomous robots.

研究动机与目标

• 通过解决伦理行为如何在自主系统中实现的问题，弥合道德哲学与工程学之间的鸿沟。
• 研究在未来的法律与社会要求下，指定和验证AI系统中伦理行为的挑战。
• 强调透明度与问责制在确保利益相关者对伦理AI系统信任方面的重要性。
• 调查AI系统被故意滥用的风险，包括故意设计和部署不道德的系统。
• 探讨伦理AI中文化与社会偏见的问题，特别是AI伦理设计中“文化帝国主义”的风险。

提出的方法

• 分析两种主要AI实现方式——符号AI与软AI——在编码伦理推理方面的适用性。
• 提出AI中的伦理行为必须通过设计实现外部驱动，与人类伦理源于内在道德推理不同。
• 强调验证技术，以确保系统运行期间伦理行为始终在指定参数范围内。
• 将利益相关者（设计者、用户、监管机构）的视角整合到伦理设计过程中，以确保与社会价值观一致。
• 研究伦理AI系统中的故障模式，并探讨伦理验证如何支持故障后分析与问责。
• 通过识别恶意行为者类型（如网络罪犯、末日教派、不道德的研究人员）来应对滥用风险。

实验结果

研究问题

• RQ1 如何在自主系统中正式指定并验证伦理行为，以满足未来的法律与社会标准？
• RQ2 符号AI与软AI方法在实现伦理推理方面有何关键差异？
• RQ3 如何在AI系统中工程化透明度与问责制，以确保利益相关者的信任？
• RQ4 对伦理设计的AI系统进行故意滥用的风险是什么？如何减轻这些风险？
• RQ5 AI伦理设计中的文化偏见如何导致将某一社会的价值观强加于其他社会，其影响是什么？

主要发现

• 伦理AI系统需要通过设计实现外部动机，因为其缺乏人类内在的道德推理能力。
• 伦理行为的验证至关重要但复杂，尤其是在系统运行于模糊、现实世界情境时。
• 透明度与问责制对于维护设计者、用户和监管机构之间的信任至关重要。
• AI系统的故意滥用——如由罪犯、极端分子或不道德研究人员实施——构成重大且常被忽视的威胁。
• AI伦理设计中的文化帝国主义风险可能将主导社会的价值观强加于多元全球群体，损害伦理包容性。
• 即使遵循伦理规则，伦理AI系统仍可能表现出未明确编程或预见到的不可预测行为。