[论文解读] Taking Ethics, Fairness, and Bias Seriously in Machine Learning for Disaster Risk Management

Robert Soden, Dennis Wagenaar+2 more|arXiv (Cornell University)|Dec 10, 2019

Disaster Management and Resilience被引用 7

一句话总结

本文主张在灾害风险管理（DRM）的机器学习（ML）应用中整合伦理、公平性和偏见考量，认为若缺乏审慎评估，ML工具可能加剧不平等和隐私问题。本文提出一项研究议程，强调威胁评估、跨组织协作以及借鉴其他领域经验，以确保DRM中ML应用的负责任、透明和以社区为中心。

ABSTRACT

This paper highlights an important, if under-examined, set of questions about the deployment of machine learning technologies in the field of disaster risk management (DRM). While emerging tools show promising capacity to support scientific efforts to better understand and mitigate the threats posed by disasters and climate change, our field must undertake a much more careful assessment of the potential negative impacts that machine learning technologies may create. We also argue that attention to these issues in the context of machine learning affords the opportunity to have discussions about potential ethics, bias, and fairness concerns within disaster data more broadly. In what follows, we first describe some of the uses and potential benefits of machine-learning technology in disaster risk management. We then draw on research from other fields to speculate about potential negative impacts. Finally, we outline a research agenda for how our disaster risk management can begin to take these issues seriously and ensure that deployments of machine-learning tools are conducted in a responsible and beneficial manner.

研究动机与目标

• 解决在灾害建模、保险和应急响应中日益广泛应用的机器学习在灾害风险管理（DRM）中所面临却未被充分审视的伦理风险。
• 强调训练数据和数据收集实践中的偏见可能加剧DRM应用中的既有社会不平等。
• 激发对灾害数据局限性的批判性反思，包括数据缺失或不完整、缺乏人口统计学细分以及隐私担忧。
• 通过倡导透明度、社区参与以及遵循发展与人道主义领域既有的伦理准则，推动ML工具的负责任部署。
• 建立一项研究议程，主动评估DRM中ML的意外后果，借鉴面部识别和刑事司法等其他领域的经验。

提出的方法

• 对DRM中现有机器学习应用进行批判性审查，包括遥感分析、影像损伤预测以及基础设施和保险的风险建模。
• 借鉴伦理学、数据科学和人道技术等跨学科研究，识别潜在危害，如偏见数据集、隐私侵犯以及专家监督的减少。
• 提出针对DRM中新ML应用的威胁评估框架，强调部署前的风险评估。
• 建议采纳人道主义和开发领域既有的伦理准则，如《数字发展原则》和《Signal代码》。
• 倡导跨组织协作，以共享知识并共同制定DRM中ML工具的评估标准。
• 呼吁对ML系统设计开展具体案例的伦理与政治分析，以揭示嵌入的权力关系和决策权衡。

实验结果

研究问题

• RQ1 在灾害风险管理中，机器学习系统如何通过使用有偏见的训练数据，无意中延续或加剧社会不平等？
• RQ2 灾害风险管理中的现有数据局限性和数据收集实践在哪些方面反映并强化了结构性不平等？
• RQ3 在脆弱、冲突影响或暴力频发（FCV）环境中，当ML工具整合异源数据集时，会引发哪些伦理风险？
• RQ4 ML模型的不透明性以及缺乏不确定性沟通，如何增加在高风险DRM决策中被误用的风险？
• RQ5 社区参与和开放数据实践在确保ML驱动的灾害风险系统中公平性与透明度方面发挥何种作用？

主要发现

• 当在有偏见或不完整数据集上训练时，灾害风险管理中的机器学习工具可能重现并放大既有社会不平等。
• 在FCV环境中使用ML可能通过将原本独立的数据源关联起来，加剧隐私和安全风险，尤其是当数据收集缺乏知情同意时。
• 对自动化系统的过度依赖可能削弱专家判断的作用，因缺乏透明度而增加错误或误用的可能性。
• 许多ML系统未能传达其不确定性或方法论假设，这在紧急情境中增加了误解和错误决策的风险。
• 人道主义和数字发展领域既有的伦理准则——如《数字发展原则》和《Signal代码》——为DRM中负责任的ML部署提供了可操作的框架。
• 迫切需要开展详细案例研究，以分析用于灾害风险建模的ML系统中设计选择的政治与伦理后果。