[论文解读] NeuraCrypt: Hiding Private Health Data via Random Neural Networks for Public Training

Adam Yala, Homa Esfahanizadeh+7 more|arXiv (Cornell University)|Jun 4, 2021

Privacy-Preserving Technologies in Data被引用 9

一句话总结

NeuraCrypt 是一种隐私保护型数据编码框架，利用随机初始化的深度神经网络将隐私医疗数据转换为匿名表示，从而在不损害患者隐私或预测模型效用的前提下实现数据的公开共享。实验结果表明，该方法在胸部X光任务中实现了具有竞争力的诊断准确率，并对对抗性攻击表现出强鲁棒性，即使多个机构使用独立编码器协同训练模型亦是如此。

ABSTRACT

Balancing the needs of data privacy and predictive utility is a central challenge for machine learning in healthcare. In particular, privacy concerns have led to a dearth of public datasets, complicated the construction of multi-hospital cohorts and limited the utilization of external machine learning resources. To remedy this, new methods are required to enable data owners, such as hospitals, to share their datasets publicly, while preserving both patient privacy and modeling utility. We propose NeuraCrypt, a private encoding scheme based on random deep neural networks. NeuraCrypt encodes raw patient data using a randomly constructed neural network known only to the data-owner, and publishes both the encoded data and associated labels publicly. From a theoretical perspective, we demonstrate that sampling from a sufficiently rich family of encoding functions offers a well-defined and meaningful notion of privacy against a computationally unbounded adversary with full knowledge of the underlying data-distribution. We propose to approximate this family of encoding functions through random deep neural networks. Empirically, we demonstrate the robustness of our encoding to a suite of adversarial attacks and show that NeuraCrypt achieves competitive accuracy to non-private baselines on a variety of x-ray tasks. Moreover, we demonstrate that multiple hospitals, using independent private encoders, can collaborate to train improved x-ray models. Finally, we release a challenge dataset to encourage the development of new attacks on NeuraCrypt.

研究动机与目标

• 解决因严格的隐私法规（如HIPAA和GDPR）导致的医疗数据集公开访问受限这一关键挑战。
• 使医院和数据所有者能够公开共享原始患者数据，同时保护患者层面的隐私。
• 在共享编码数据上训练的机器学习模型保持高水平的预测效用。
• 在不暴露私有数据或无需集中化数据池的情况下，实现多机构协作。
• 通过公开挑战数据集，鼓励新攻击方法和改进技术的发展。

提出的方法

• 该方法使用一个随机构建的深度神经网络作为私有编码器，仅由数据所有者知晓，将原始患者数据转换为编码表示。
• 编码函数来自一个丰富的随机函数族，理论上可确保同标签样本之间的匿名性。
• 通过函数复合迭代扩展编码函数族，近似逼近理论最优双射函数族。
• 将编码后的数据与公开标签公开共享，使第三方可在匿名化数据上训练模型。
• 在多机构环境中，各机构使用独立的私有编码器，实现在共享特征空间中的协作训练。
• 通过对抗性攻击（如基于MMD的攻击、迁移学习攻击）评估鲁棒性，并与线性编码和非私有基线进行比较。

实验结果

研究问题

• RQ1 计算高效的编码方案是否能为隐私医疗数据提供有意义的隐私保障，同时保持建模效用？
• RQ2 随机深度神经网络是否能有效逼近隐私保护理论最优的编码函数族？
• RQ3 与在原始数据上训练的模型相比，NeuraCrypt 在诊断准确率方面表现如何？
• RQ4 多个机构使用独立编码器是否能协作训练出更准确的模型，且不暴露私有数据？
• RQ5 NeuraCrypt 对旨在恢复私有编码器或敏感属性的对抗性攻击是否具备鲁棒性？

主要发现

• NeuraCrypt -ViT 在 MIMIC-CXR 上平均 AUC 达 80，在 CheXpert 上达 79，与非私有的 ViT 基线性能相当。
• 在联合数据集设置下，NeuraCrypt -ViT 在 Combined-Clear 上平均 AUC 达 83，在 Combined-Private 上达 82，表明私有协作带来的性能损耗极小。
• 在 Combined-Private 数据上训练的模型，相比单独在 MIMIC-CXR 和 CheXpert 上训练，平均 AUC 分别提升了 2 和 3 个百分点。
• 对 NeuraCrypt 的对抗性攻击未能超越基线均值，深度为 2 和 7 的编码器对应的 MMD 攻击 MSE 比值分别为 7.97 和 4.44。
• 对 NeuraCrypt 的迁移学习攻击获得 AUC 为 84 ± 1，显著低于线性编码的 89 ± 1，表明其具备强鲁棒性。
• 在对抗性编码器输出上训练的肺水肿分类器无法泛化到真实的 NeuraCrypt 编码，AUC 接近随机性能（52 ± 4），证实其对迁移攻击具有抵抗能力。