[论文解读] Privacy-preserving Machine Learning for Medical Image Classification

Shreyansh Singh, K.K. Shukla|arXiv (Cornell University)|Aug 29, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用 4

一句话总结

本文提出了一种用于医学影像分类的隐私保护机器学习框架，结合安全多方计算（SMPC）与差分隐私（DP），实现在胸部X光片上对肺炎进行加密推理与训练。VGG16模型在使用预处理后达到96.41%的准确率，使用平均池化后为85.2%，而差分隐私使准确率下降约10–13%，表明隐私与性能之间存在权衡。

ABSTRACT

With the rising use of Machine Learning (ML) and Deep Learning (DL) in various industries, the medical industry is also not far behind. A very simple yet extremely important use case of ML in this industry is for image classification. This is important for doctors to help them detect certain diseases timely, thereby acting as an aid to reduce chances of human judgement error. However, when using automated systems like these, there is a privacy concern as well. Attackers should not be able to get access to the medical records and images of the patients. It is also required that the model be secure, and that the data that is sent to the model and the predictions that are received both should not be revealed to the model in clear text. In this study, we aim to solve these problems in the context of a medical image classification problem of detection of pneumonia by examining chest x-ray images.

研究动机与目标

• 解决医学影像分类中的隐私风险，确保患者数据与模型预测结果保持机密。
• 实施安全多方计算（SMPC）以实现加密模型推理，避免暴露原始数据或预测结果。
• 在模型训练中集成差分隐私（DP），以限制成员推断攻击，保护个体患者数据。
• 评估在不同加密与正则化技术下，模型准确率与隐私之间的权衡。
• 开发一种可扩展的、隐私保护的医学影像分类流水线，可推广至肺炎检测以外的应用。

提出的方法

• 使用TensorFlow Encrypted（TFE）实现基于SMPC的推理，确保在整个预测过程中模型与数据始终保持加密状态。
• 采用两种数据预处理方法：一种为归一化与数据增强，另一种为最小-最大缩放与额外增强，以提升模型泛化能力。
• 使用SMPC加密数据训练深度神经网络（DNN）与VGG16模型，通过模型检查点与早停策略优化验证准确率。
• 在训练过程中应用差分隐私，通过向梯度中注入噪声控制信息泄露，隐私预算（ε）用于调节隐私保护程度。
• 在加密与DP训练设置下，通过多个训练周期评估模型性能，指标包括准确率、交叉熵损失与训练动态。
• 使用基于Keras的模型并保持层兼容性，避免在TFE中使用不支持的层（如批归一化与Dropout）

实验结果

研究问题

• RQ1 安全多方计算能否在不暴露原始数据或模型输出的前提下，实现对医学影像的隐私保护推理？
• RQ2 差分隐私对深度学习模型在医学影像分类中的准确率与泛化能力有何影响？
• RQ3 在隐私保护环境下，不同数据预处理策略对模型性能有何影响？
• RQ4 在加密与DP条件下，模型架构与池化类型（平均池化 vs. 最大池化）如何影响准确率与鲁棒性？
• RQ5 在实时医学诊断中部署加密深度学习模型时，性能瓶颈是什么？

主要发现

• 使用第二种预处理方法训练的VGG16-2模型达到最高准确率96.41%，优于其他模型。
• DNN-Max模型准确率达到87.33%，交叉熵损失为0.29，优于DNN-Av（准确率85.2%，损失0.33）。
• 使用差分隐私训练使模型准确率下降约10–13%，其中DNN模型下降最多（13%），VGG16模型下降较小（10–11%）。
• 使用DP训练的VGG16-2模型准确率达到84.89%，证实了隐私与性能之间的预期权衡。
• 基于SMPC的TFE推理引入显著延迟，尤其在VGG16等深层模型中，使实时部署变得困难。
• TFE在处理高级Keras层（如批归一化与Dropout）时存在局限，需对模型进行简化或自定义实现。