[论文解读] Towards Characterizing and Limiting Information Exposure in DNN Layers

Fan Mo, Ali Shahin Shamsabadi+3 more|arXiv (Cornell University)|Jul 13, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用 8

一句话总结

本文提出一种框架，使用泛化误差作为度量指标，衡量并限制预训练深度神经网络（DNN）各层中敏感信息的暴露。研究发现，网络的深层比浅层暴露更多训练数据信息，并证明在可信执行环境（TEE）中保护这些深层可带来极低的计算开销，使其成为设备端DNN隐私保护的可行方案。

ABSTRACT

Pre-trained Deep Neural Network (DNN) models are increasingly used in smartphones and other user devices to enable prediction services, leading to potential disclosures of (sensitive) information from training data captured inside these models. Based on the concept of generalization error, we propose a framework to measure the amount of sensitive information memorized in each layer of a DNN. Our results show that, when considered individually, the last layers encode a larger amount of information from the training data compared to the first layers. We find that, while the neuron of convolutional layers can expose more (sensitive) information than that of fully connected layers, the same DNN architecture trained with different datasets has similar exposure per layer. We evaluate an architecture to protect the most sensitive layers within the memory limits of Trusted Execution Environment (TEE) against potential white-box membership inference attacks without the significant computational overhead.

研究动机与目标

• 量化训练数据中敏感信息在DNN各层中的记忆程度。
• 基于信息暴露程度，识别最容易受到成员推理攻击的网络层。
• 评估在资源受限的可信执行环境（TEE）中保护最敏感DNN层的可行性。
• 评估在移动设备上将关键DNN层部署于TEE中所带来的性能开销。

提出的方法

• 该框架通过泛化误差衡量敏感信息暴露——即每一层在训练数据（S）和非私有测试数据（T）上的预测准确率差异。
• 通过在S上微调单个层（最大泛化误差）和在X（S ∪ T）上微调（最小泛化误差）来计算最大与最小泛化误差，以界定暴露风险。
• 通过测量模型区分某数据点是否属于训练集的能力，来隔离并评估成员推理攻击的风险。
• 采用基于TEE的保护方案，使用ARM的TrustZone，将最敏感的（最后一层）在TEE中安全执行，而早期层在普通环境中运行。
• 实验使用在MNIST、Fashion-MNIST和CIFAR-10上微调的VGG-7，结合Raspberry Pi 3上的Darknet和OP-TEE，评估内存、执行时间和功耗开销。
• 该方法评估了逐层在TEE中部署的方案，包括可训练层（卷积层、全连接层）和不可训练层（Dropout、最大池化层），以评估成本影响。

实验结果

研究问题

• RQ1 DNN的哪些层最容易暴露训练数据中的敏感信息？
• RQ2 DNN各层的泛化误差如何变化？其能否用于量化信息暴露风险？
• RQ3 在移动设备上，将最敏感的DNN层保护在TEE中是否显著影响内存、执行时间或功耗？
• RQ4 当其前序可训练层也必须一同迁移时，不可训练层（如Dropout、最大池化层）的存在如何影响TEE部署成本？

主要发现

• DNN的最后几层比浅层暴露了显著更多的训练数据敏感信息，表现为更高的泛化误差。
• 每层的信息暴露风险与训练期间使用的数据集无关，表明不同数据分布下存在一致的层级别脆弱性模式。
• 在TEE中部署最后几层仅使执行时间增加1.94%（MNIST）和1.62%（CIFAR-10），内存开销极低（分别为2.43%和2.19%）。
• 功耗基本不受影响，MNIST的F统计量为1.49（p=0.170），CIFAR-10为1.61（p=0.132），表明无显著增加。
• 不可训练层（如Dropout、最大池化层）在TEE中部署时会增加开销，因为其前序可训练层也必须一并复制到TEE中，从而提升成本。
• 在TEE中保护全连接层和卷积层的开销低于保护不可训练层，因此前者更适合安全部署。