[论文解读] Using experimental game theory to transit human values to ethical AI

Yijia Wang, Yan Wan+1 more|arXiv (Cornell University)|Nov 16, 2017

Psychology of Moral and Emotional Judgment参考文献 16被引用 3

一句话总结

本文提出了一套计算框架，利用实验博弈论从人类行为数据中提取并嵌入人类道德价值观——特别是康德伦理学——以实现AI系统的伦理决策。通过在策略与结果空间中建模AI-人类互动，该框架展示了如何通过重复的囚徒困境实验来测试AI伦理，表明像慷慨（Generosity）这样的算法是伦理上合理的，而勒索（Extortion）则不是，从而提供了一种严格、可测试且可在工业界实施的伦理AI设计方法。

ABSTRACT

Knowing the reflection of game theory and ethics, we develop a mathematical representation to bridge the gap between the concepts in moral philosophy (e.g., Kantian and Utilitarian) and AI ethics industry technology standard (e.g., IEEE P7000 standard series for Ethical AI). As an application, we demonstrate how human value can be obtained from the experimental game theory (e.g., trust game experiment) so as to build an ethical AI. Moreover, an approach to test the ethics (rightness or wrongness) of a given AI algorithm by using an iterated Prisoner's Dilemma Game experiment is discussed as an example. Compared with existing mathematical frameworks and testing method on AI ethics technology, the advantages of the proposed approach are analyzed.

研究动机与目标

• 开发一种数学上严谨、可计算且可实验验证的方法，以使AI行为与人类价值观对齐，特别是康德伦理学。
• 通过统一的数学表示，弥合道德哲学（康德主义与功利主义）与AI伦理工业标准（如IEEE P7000）之间的差距。
• 实现将人类价值观——如公平、信任与利他主义——从受控行为实验中定量转移至伦理AI设计中。
• 提供一种实用、可扩展且可测试的方法，通过非合作博弈中的结果空间分析，评估AI算法的伦理属性。
• 通过引入演绎性、数据驱动且数学结构化的范式，克服现有归纳性、基于语言的AI伦理标准的局限性。

提出的方法

• 本文引入了AI-人类互动的数学表示：$\mathbf{S}^{a}_{i} \otimes \mathbf{S}^{b}_{j} \rightarrow \mathbf{O}$，其中$\mathbf{S}^{a}$与$\mathbf{S}^{b}$分别为AI与人类的策略空间，$\mathbf{O}$为表示收益（如奖励、成本、公平性）的结果空间。
• 定义康德价值为非功利主义的、基于伦理的行为成分，其偏离纯粹理性选择，并将其作为约束或目标嵌入结果空间，以实现AI对齐。
• 从实验博弈论数据（如信任博弈、公共品博弈）中提取人类价值观（如信任与公平），并将其用作标定伦理AI行为的参数。
• 通过重复囚徒困境（IPD）测试AI算法的伦理属性，分析结果空间以判断AI行为是否公平且不具剥削性。
• 使用理论结果线（如勒索的红线、慷慨的绿线）将实际实验得分与伦理基准进行比较，以公平性和效率作为关键评判标准。
• 与先前模型相比，本范式在结果空间中明确定义了康德价值，从而实现可计算解法，而此前模型中伦理决策仍存在模糊性。

实验结果

研究问题

• RQ1 康德主义与功利主义道德哲学如何能被正式整合进统一的AI伦理计算框架？
• RQ2 能否可靠地利用来自实验博弈论的人类价值观，以校准非合作环境中的伦理AI行为？
• RQ3 如何通过重复博弈中的结果空间分析，对给定AI算法的伦理属性进行定量评估？
• RQ4 当前基于归纳法、语言的AI伦理标准（如IEEE P7000）存在哪些局限性？如何通过演绎性、数据驱动的方法加以改进？
• RQ5 来自信任博弈与公共品博弈的实验数据在多大程度上可用于定义AI智能体的伦理控制参数？

主要发现

• 在重复囚徒困境中，满足$\frac{3 - s_{hg}}{3 - s_g} = \frac{1}{3}$的慷慨策略，能使AI与人类均获得最高分3分，表明其公平且高效，因此在伦理上是合理的。
• 勒索策略满足$\frac{s_{he} - 1}{s_e - 1} = \frac{1}{3}$，导致人类最高得分为1.907，AI得分为3.727，造成不公平结果，因此被判定为不道德。
• 来自非合作博弈中人类受试者（如信任博弈）的实验数据，可用于提取公平性、信任与利他主义的可量化数值，并嵌入AI决策过程。
• 所提出的框架提供了一种可计算、可测试且数学上严谨的方法来评估AI伦理，克服了IEEE P7000等标准中使用语言清单所导致的模糊性与主观性。
• 通过在结果空间中显式建模康德价值，该方法解决了康德主义与功利主义伦理在AI中的冲突，使伦理行为超越纯粹的效用最大化。
• 该方法具有可扩展性，可应用于现实世界AI系统，包括自动驾驶汽车、无人机和金融代理，通过行为数据指导伦理设计。