[论文解读] RoboTed: a case study in Ethical Risk Assessment

Alan Winfield, Katie Winkle|arXiv (Cornell University)|Jul 31, 2020

Ethics and Social Impacts of AI参考文献 9被引用 5

一句话总结

本文提出伦理风险评估（ERA）作为一种系统性框架，用于识别和减轻机器人在伦理、社会及环境方面的风险，以虚构的智能泰迪熊（RoboTed）为案例研究。该方法将传统安全风险评估扩展至包括隐私泄露、心理伤害和环境影响等伦理隐患，展示了早期伦理设计如何促成更安全、更可持续且更尊重用户需求的机器人系统。

ABSTRACT

Risk Assessment is a well known and powerful method for discovering and mitigating risks, and hence improving safety. Ethical Risk Assessment uses the same approach but extends the envelope of risk to cover ethical risks in addition to safety risks. In this paper we outline Ethical Risk Assessment (ERA) and set ERA within the broader framework of Responsible Robotics. We then illustrate ERA with a case study of a hypothetical smart robot toy teddy bear: RoboTed. The case study shows the value of ERA and how consideration of ethical risks can prompt design changes, resulting in a more ethical and sustainable robot.

研究动机与目标

• 开发并展示一种系统化方法，用于识别机器人系统中超越传统安全关注的伦理风险。
• 将伦理风险评估整合进社交机器人的设计生命周期，确保负责任的创新。
• 通过实际案例研究，解决与智能机器人相关的社会、心理、隐私及环境风险。
• 强调用户参与、透明度和可持续性在伦理机器人设计中的重要性。
• 展示ERA如何通过在部署前促使设计变更，主动预防伦理失败。

提出的方法

• 以英国标准BS8611为基础，识别出四类共20种不同的伦理隐患：社会性、应用性、商业/财务性及环境性。
• 通过分析物理、心理、隐私及环境风险，对虚构社交机器人RoboTed实施系统性ERA。
• 按可能性（高、中、低）对每项风险进行分类，并为每项隐患提出具体缓解策略。
• 提出设计改进措施，如可听的爬行提示音、使用消费级电池、本地数据记录以及模块化、可维修的组件。
• 倡导与多样化人群的用户参与，并引入跨学科意见（如心理学家、社会科学家）以提高风险评估的有效性。
• 将ERA整合进生命周期方法中，建议在设计阶段和用户测试期间进行迭代评估，以确保持续的伦理对齐。

实验结果

研究问题

• RQ1 如何系统性地将伦理风险评估应用于智能机器人系统，以预见非安全性的伤害？
• RQ2 社交机器人（如RoboTed）特有的伦理隐患有哪些？如何在设计阶段识别并缓解这些隐患？
• RQ3 ERA在多大程度上可提升机器人系统的可持续性、透明度和用户可信度？
• RQ4 如何评估和应对机器人设计中的心理与社会风险（如过度信任或恐怖谷效应）？
• RQ5 用户参与与跨学科协作在提升伦理风险评估有效性方面发挥什么作用？

主要发现

• 伦理风险评估成功识别出RoboTed中的12种不同伦理隐患，包括心理性过度信任、隐私泄露以及环境不可持续性。
• 缓解策略如可听移动提示音和本地数据记录显著降低了物理与隐私风险。
• 通过设计可维修与可回收性，降低了不可回收风险，并延长了RoboTed的环境使用寿命。
• 案例研究揭示，不可维修且不可持续的设计会带来重大的伦理与环境风险，从而推动向模块化、可生物降解及低碳材料的转变。
• 心理风险如过度信任与恐怖谷效应被发现具有高度情境依赖性，需通过多样化人群的用户测试才能准确评估。
• 将ERA与用户测试及专家输入（如心理学家）进行迭代整合，增强了设计过程的稳健性与社会责任感。