[论文解读] Recognising the importance of preference change: A call for a coordinated multidisciplinary research effort in the age of AI

Matija Franklin, Hal Ashton+2 more|arXiv (Cornell University)|Mar 20, 2022

Decision-Making and Behavioral Economics被引用 8

一句话总结

本文呼吁建立一门新的跨学科领域——偏好科学（Preference Science），以研究人工智能系统如何通过行为干预引发偏好改变。文章提出一个框架，将选择架构、能力与行为联系起来，以建模偏好的演化过程，强调在允许的改变与操纵之间设定伦理边界。

ABSTRACT

As artificial intelligence becomes more powerful and a ubiquitous presence in daily life, it is imperative to understand and manage the impact of AI systems on our lives and decisions. Modern ML systems often change user behavior (e.g. personalized recommender systems learn user preferences to deliver recommendations that change online behavior). An externality of behavior change is preference change. This article argues for the establishment of a multidisciplinary endeavor focused on understanding how AI systems change preference: Preference Science. We operationalize preference to incorporate concepts from various disciplines, outlining the importance of meta-preferences and preference-change preferences, and proposing a preliminary framework for how preferences change. We draw a distinction between preference change, permissible preference change, and outright preference manipulation. A diversity of disciplines contribute unique insights to this framework.

研究动机与目标

• 解决人工智能系统通过行为改变影响人类偏好的伦理与社会风险。
• 建立一个统一的、跨学科的研究领域——偏好科学，以研究人工智能与机器学习背景下的偏好改变。
• 将偏好操作化，超越传统经济学模型，纳入有意识、无意识及自动化的心理过程。
• 区分偏好改变、允许的改变与操纵性改变，特别是在人工智能驱动的环境中。
• 制定伦理与法律框架，以区分人工智能系统中可接受与滥用的偏好操控。

提出的方法

• 将偏好广泛定义为包括明确的、有意识的、反思性的过程，以及隐含的、无意识的、自动化的心理状态，这些状态产生喜好或厌恶。
• 整合经济学（揭示偏好与陈述偏好）、心理学（喜好/厌恶判断）以及行为科学（行为洞察与选择架构）的概念。
• 引入元偏好（关于未来偏好的偏好）和偏好改变偏好（关于偏好形成方式的偏好）。
• 提出一个动态框架，其中选择架构的变化影响能力与行为，进而导致偏好改变。
• 使用COM-B模型与行为科学模型，映射从环境设计到偏好演化的因果路径。
• 倡导以偏好为主要因变量，开展实证与模拟研究，以检验环境、能力与行为的受控变化如何改变偏好。

实验结果

研究问题

• RQ1 人工智能驱动的行为改变技术如何导致用户偏好的改变，而不仅仅是影响行为？
• RQ2 在人工智能系统中，什么区别了允许的偏好改变与操纵性偏好操控？
• RQ3 元偏好与偏好改变偏好在人机交互中如何被正式建模与测量？
• RQ4 选择架构与环境设计在何种方式下塑造偏好的产生与演化？
• RQ5 应采用何种伦理与法律标准来界定人工智能应用中可接受与滥用的偏好改变？

主要发现

• 通过机器学习个性化推荐的人工智能系统，不仅影响行为，还会引发用户偏好的持久改变。
• 偏好改变是行为干预的外部化后果，但在当前的人工智能对齐与伦理框架中常被忽视。
• 传统经济学的偏好模型（如揭示偏好）不足以应对，因为它们忽略了无意识、自动化及不断演化的意向性过程。
• 元偏好与关于偏好形成方式的偏好，对于理解长期偏好稳定性与伦理设计至关重要。
• 选择架构通过改变行为机会与认知能力，显著影响偏好演化。
• 必须开展协调一致的、跨学科的研究努力——即偏好科学——以伦理方式治理那些改变人类偏好的人工智能系统。