[论文解读] Trustworthy AI in the Age of Pervasive Computing and Big Data

Abhishek Kumar, Tristan Braud+2 more|arXiv (Cornell University)|Jan 30, 2020

Privacy-Preserving Technologies in Data参考文献 54被引用 8

一句话总结

本文提出了一套可信人工智能框架，适用于普适计算与大数据环境，强调算法、数据与实践中的伦理问题。它倡导在智慧城市建设应用中采用隐私保护技术，如联邦学习与差分隐私，以确保透明性、公平性与问责性，同时保护用户数据。

ABSTRACT

The era of pervasive computing has resulted in countless devices that continuously monitor users and their environment, generating an abundance of user behavioural data. Such data may support improving the quality of service, but may also lead to adverse usages such as surveillance and advertisement. In parallel, Artificial Intelligence (AI) systems are being applied to sensitive fields such as healthcare, justice, or human resources, raising multiple concerns on the trustworthiness of such systems. Trust in AI systems is thus intrinsically linked to ethics, including the ethics of algorithms, the ethics of data, or the ethics of practice. In this paper, we formalise the requirements of trustworthy AI systems through an ethics perspective. We specifically focus on the aspects that can be integrated into the design and development of AI systems. After discussing the state of research and the remaining challenges, we show how a concrete use-case in smart cities can benefit from these methods.

研究动机与目标

• 应对数据密集型、普适计算环境中日益增长的人工智能可信度担忧。
• 形式化人工智能系统中的伦理需求，重点关注算法公平性、数据隐私与负责任实践。
• 将伦理整合到人工智能系统的设计与开发生命周期中，实现‘可信设计’的人工智能。
• 通过涉及电动汽车充电桩部署的智慧城市用例，展示其实际适用性。
• 通过人工智能系统中的技术和伦理保障措施，减轻监控、偏见与数据滥用的风险。

提出的方法

• 提出一个包含三个组成部分的可信人工智能框架：算法伦理、数据伦理与实践伦理。
• 以欧盟高级别专家组的伦理准则——人类自主性、伤害预防、公平性与可解释性——为核心原则。
• 利用联邦学习实现设备端模型训练，确保原始数据不会离开用户设备。
• 将差分隐私与同态加密集成到训练流程中，以增强数据隐私保护。
• 采用区块链技术记录模型更新，通过不可篡改的分布式记录确保问责性。
• 结合分布式架构与共识机制，支持大规模物联网部署中的可扩展性与弹性。

实验结果

研究问题

• RQ1 如何在普适计算环境中系统性地将伦理原则整合到人工智能系统的设计中？
• RQ2 哪些技术机制可确保在敏感行为数据上训练的人工智能系统中的隐私与公平性？
• RQ3 联邦学习与密码学技术在多大程度上可缓解数据泄露与监控风险？
• RQ4 如何在不牺牲性能的前提下实现人工智能模型的透明性与可解释性？
• RQ5 哪些架构模式可支持大规模、去中心化人工智能系统中的问责性与弹性？

主要发现

• 联邦学习支持设备端训练，可防止原始用户数据离开个人设备，显著降低隐私风险。
• 差分隐私与同态加密可集成到联邦学习中，进一步在模型更新过程中保护用户数据。
• 基于区块链的模型更新日志通过创建不可篡改、可验证的系统行为记录，确保了问责性。
• 联邦学习与隐私保护技术的结合，使得在无需集中式数据收集的情况下，实现智慧城市中的可信人工智能部署成为可能。
• 分布式架构提升了系统的弹性，减少了单点故障，增强了对对抗性攻击的鲁棒性。
• 尽管共识机制在可扩展性方面存在挑战，但结合管理枢纽的混合架构可有效缓解大规模物联网网络中的性能瓶颈。