[论文解读] Some HCI Priorities for GDPR-Compliant Machine Learning

Michael Veale, Reuben Binns+1 more|arXiv (Cornell University)|Jan 1, 2018

Ethics and Social Impacts of AI被引用 1

一句话总结

本文提出，人机交互（HCI）在通过解决公平性、透明度、自动化偏见和数据主体权利等问题，推动符合《通用数据保护条例》（GDPR）的机器学习方面发挥着关键作用。文章倡导通过HCI驱动的工具和界面，支持隐私保护设计、自动化决策中的有意义的人类监督，以及对处理后果的清晰沟通，从而增强算法问责制和监管有效性。

ABSTRACT

Cite as Michael Veale, Reuben Binns and Max Van Kleek (2018) Some HCI Priorities for GDPR-Compliant Machine Learning. The General Data Protection Regulation: An Opportunity for the CHI Community? (CHI-GDPR 2018), Workshop at ACM CHI'18, 22 April 2018, Montreal, Canada. In this short paper, we consider the roles of HCI in enabling the better governance of consequential machine learning systems using the rights and obligations laid out in the recent 2016 EU General Data Protection Regulation (GDPR)---a law which involves heavy interaction with people and systems. Focussing on those areas that relate to algorithmic systems in society, we propose roles for HCI in legal contexts in relation to fairness, bias and discrimination; data protection by design; data protection impact assessments; transparency and explanations; the mitigation and understanding of automation bias; and the communication of envisaged consequences of processing.

研究动机与目标

• 识别 HCI 在 GDPR 法律框架下支持机器学习系统治理的关键领域。
• 解决机器学习系统中与‘特殊类别’数据相关的公平性、偏见和歧视问题。
• 确保根据 GDPR 第 22 条要求，在自动化决策过程中实现有意义的人类参与。
• 通过有效的界面设计，提升数据主体对自动化处理预期后果的理解。
• 通过 HCI 创新，支持数据控制者履行数据保护影响评估和隐私保护设计等 GDPR 义务。

提出的方法

• 分析 GDPR 条款，特别是第 9 条（特殊类别数据）、第 22 条（自动化决策）以及第 13–15 条（信息权利），以识别与 HCI 相关的治理挑战。
• 提出使用探索性数据分析工具检测并标记特殊类别数据，即使未明确收集此类数据。
• 设计界面，支持对自动化决策进行有意义的人类审查，确保人类输入并非仅限于例行或形式化操作。
• 开发以用户为中心的方法，以支持知情同意和自主权的方式，清晰传达机器学习处理的‘预期后果’。
• 应用人因工程和认知偏见研究的见解，以减轻决策系统中的自动化偏见。
• 倡导制定文档标准和界面设计，以证明并使人类输入在自动化流程中的作用可见。

实验结果

研究问题

• RQ1 HCI 如何在 GDPR 框架下，特别是在敏感数据方面，促进机器学习系统的公平和非歧视性使用？
• RQ2 HCI 在确保 GDPR 第 22 条要求的‘有意义’人类参与自动化决策中可发挥何种作用？
• RQ3 界面如何有效向数据主体传达自动化处理的‘预期后果’？
• RQ4 HCI 在支持数据控制者履行 GDPR 义务（如数据保护影响评估和隐私保护设计）方面可发挥哪些作用？
• RQ5 HCI 工具如何在未明确收集的情况下，帮助检测和管理‘特殊类别’数据的处理？

主要发现

• HCI 对于通过探索性分析工具支持检测特殊类别数据，从而实现机器学习中的 GDPR 合规性至关重要。
• 自动化决策中的有意义人类监督需要界面设计能够防止例行或被动的人类输入，以确保真正的问责制。
• 监管指南表明，系统必须提供关于算法对决策贡献程度和方式的信息，这需要新型界面设计。
• GDPR 要求数据控制者基于‘可用技术’证明处理的正当性，这为 HCI 开发具有监管意识的系统提供了强大激励。
• 有效传达处理的‘预期后果’是一项关键挑战，尤其在复杂的个性化系统中，亟需以用户为中心的界面解决方案。
• 本文结论认为，HCI 在通过将监管原则嵌入系统设计和交互实践，具有提升算法问责制的变革潜力。