[论文解读] The Ethics of Advanced AI Assistants

Iason Gabriel, Arianna Manzini+55 more|arXiv (Cornell University)|Apr 24, 2024

Ethics and Social Impacts of AI被引用 37

一句话总结

本论文系统性地分析了先进AI助手的机遇、风险与治理需求，提出一个社会技术伦理框架，并为研究人员、政策制定者及社会提供可操作的建议。

ABSTRACT

This paper focuses on the opportunities and the ethical and societal risks posed by advanced AI assistants. We define advanced AI assistants as artificial agents with natural language interfaces, whose function is to plan and execute sequences of actions on behalf of a user, across one or more domains, in line with the user's expectations. The paper starts by considering the technology itself, providing an overview of AI assistants, their technical foundations and potential range of applications. It then explores questions around AI value alignment, well-being, safety and malicious uses. Extending the circle of inquiry further, we next consider the relationship between advanced AI assistants and individual users in more detail, exploring topics such as manipulation and persuasion, anthropomorphism, appropriate relationships, trust and privacy. With this analysis in place, we consider the deployment of advanced assistants at a societal scale, focusing on cooperation, equity and access, misinformation, economic impact, the environment and how best to evaluate advanced AI assistants. Finally, we conclude by providing a range of recommendations for researchers, developers, policymakers and public stakeholders.

研究动机与目标

• 评估先进AI助手的技术基础、能力及潜在应用。
• 审视先进AI助手在价值对齐、福祉、安全与滥用方面的关切。
• 探讨人机交互主题，如操纵、信任、隐私与拟人化。
• 分析社会层面的影响包括公平性、错误信息、经济、环境及评估方法。
• 为研究人员、开发者、政策制定者与公众利益相关者提供建议。

提出的方法

• 综合计算机科学、人机交互、心理学、经济学、社会学与哲学等跨学科洞见以构建伦理前瞻。
• 提出结合未来导向伦理与实证基础的社会技术前瞻伦理方法。
• 围绕六个关键主题（对齐、福祉、安全、滥用、人机互动、社会影响）及相关政策建议来构建分析。
• 讨论社会技术评估需求，强调人机交互、多代理动态及社会层面指标。
• 在利益相关方协商与负责任创新原则的基础上提出政策与治理建议。

实验结果

研究问题

• RQ1 是什么使高级AI助手与早期AI技术区别开来？
• RQ2 应以哪些能力与界限来指导AI助手的开发？
• RQ3 AI助手应如何与用户、开发者及社会价值对齐？
• RQ4 随着AI助手越来越自治，会出现哪些安全、操纵及隐私方面的问题？
• RQ5 AI助手如何影响信任、拟人化、关系、合作与不平等？

主要发现

• 高级AI助手可能通过高度自治和个性化互动对工作、教育与社会互动产生深远影响。
• 需要健全、前瞻性的（社会技术）对齐来管理安全、滥用与生态系统级的效应。
• 拟人化与个性化提升了信任、隐私与自主性方面的担忧，需要防护措施以防止被不当影响。
• 广泛部署会改变社会协调、平等与获取机会，需要包容性设计与治理。
• 现有评估方法侧重技术性能，需要包括人机互动与社会影响在内的整体社会技术评估。
• 强有力的治理、政策工作与公共讨论对推动发展走向广泛受益的结果至关重要。