[论文解读] Regulating AI: Applying insights from behavioural economics and psychology to the application of article 5 of the EU AI Act

Huixin Zhong, O'Neill, Eamonn+1 more|arXiv (Cornell University)|Jul 24, 2023

Digital Transformation in LawEconomics, Econometrics and Finance被引用 3

一句话总结

本文运用行为经济学与认知心理学，澄清并强化欧盟人工智能法案第5条，界定‘潜意识’、‘操纵性’及‘欺骗性’技术，识别出AI可能使用的3种潜意识技术和5种操纵性技术，并提出针对性修订建议，以增强对AI驱动用户操纵的法律保护。

ABSTRACT

Article 5 of the European Union's Artificial Intelligence Act is intended to regulate AI use to prevent potentially harmful consequences. Nevertheless, applying this legislation practically is likely to be challenging because of ambiguously used terminologies and because it fails to specify which manipulation techniques may be invoked by AI, potentially leading to significant harm. This paper aims to bridge this gap by defining key terms and demonstrating how AI may invoke these techniques, drawing from insights in psychology and behavioural economics. First, this paper provides definitions of the terms "subliminal techniques", "manipulative techniques" and "deceptive techniques". Secondly, we identified from the literature in cognitive psychology and behavioural economics three subliminal and five manipulative techniques and exemplify how AI might implement these techniques to manipulate users in real-world case scenarios. These illustrations may serve as a practical guide for stakeholders to detect cases of AI manipulation and consequently devise preventive measures. Article 5 has also been criticised for offering inadequate protection. We critically assess the protection offered by Article 5, proposing specific revisions to paragraph 1, points (a) and (b) of Article 5 to increase its protective effectiveness.

研究动机与目标

• 解决欧盟人工智能法案第5条中关于‘潜意识’、‘操纵性’及‘欺骗性’技术等术语的模糊性问题。
• 识别并定义AI系统可能利用以影响用户的心理与行为技术。
• 提供实际、现实世界中的案例场景，说明AI如何以可能造成伤害的方式部署这些技术。
• 批判性评估当前第5条保护范围的不足，并提出具体修订建议以提升其有效性。
• 为监管机构、开发者和审计人员提供基于证据的标准，以协助检测和防范AI操纵。

提出的方法

• 结合认知心理学与行为经济学的洞见，界定‘潜意识技术’、‘操纵性技术’和‘欺骗性技术’。
• 检索学术文献，识别并分类具有实证基础的三种潜意识技术和五种操纵性技术。
• 将每项识别出的技术映射至现实应用中可能的AI实现场景（例如，推荐系统、聊天机器人）。
• 分析第5条第1款(a)和(b)项的现行措辞，评估其在法律保护上的漏洞。
• 基于心理机制，提出第5条的具体文本修订建议，以提升清晰度、覆盖范围与可执行性。
• 运用案例推理，展示所定义的技术如何导致用户受害，从而支持监管设计。

实验结果

研究问题

• RQ1 哪些心理与行为机制构成AI系统中的潜意识、操纵性及欺骗性技术？
• RQ2 AI系统在现实应用中如何实际部署这些技术以影响用户决策？
• RQ3 当前欧盟人工智能法案第5条在保护用户免受此类技术影响方面存在哪些关键缺陷？
• RQ4 如何修订第5条的法律语言，以更准确地捕捉并规范这些AI驱动的影响机制？
• RQ5 在现行监管框架下，所识别的技术在多大程度上可能对用户造成重大伤害？

主要发现

• 识别出三种具有心理学基础且可能被AI部署的潜意识技术：启动效应、感官过载与时间框架。
• 发现五种在行为经济学中广泛支持且适用于AI系统的操纵性技术：默认偏见、稀缺性、从众证明、损失厌恶与选择架构。
• 案例场景表明，AI系统可在数字广告、金融建议与内容推荐等领域利用这些技术，微妙地影响用户选择。
• 现行第5条措辞，特别是第1款(a)和(b)项，未能清晰界定或禁止关键的操纵机制，导致法律保护不足。
• 本文提出第5条的具体文本修订建议，以提升清晰度与覆盖范围，尤其通过明确提及损失厌恶与默认偏见等心理机制。
• 将行为科学洞见融入监管语言，可显著提升AI操纵规则的可检测性与可执行性。