[论文解读] Unsupervised Information Obfuscation for Split Inference of Neural Networks

Mohammad Samragh, Hossein Hosseini+4 more|arXiv (Cornell University)|Apr 23, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用 6

一句话总结

本文提出了一种用于分割神经网络推理的无监督信息混淆方法，可在无需了解敏感属性的情况下，从边缘设备输出中移除无关特征。通过利用服务器第一层的奇异值分解（SVD），该方法对特征向量进行混淆，以最小化与原始特征的互信息，同时保持模型准确率，其在减少未见私有属性泄露方面优于监督方法（如对抗训练）。

ABSTRACT

Splitting network computations between the edge device and a server enables low edge-compute inference of neural networks but might expose sensitive information about the test query to the server. To address this problem, existing techniques train the model to minimize information leakage for a given set of sensitive attributes. In practice, however, the test queries might contain attributes that are not foreseen during training. We propose instead an unsupervised obfuscation method to discard the information irrelevant to the main task. We formulate the problem via an information theoretical framework and derive an analytical solution for a given distortion to the model output. In our method, the edge device runs the model up to a split layer determined based on its computational capacity. It then obfuscates the obtained feature vector based on the first layer of the server model by removing the components in the null space as well as the low-energy components of the remaining signal. Our experimental results show that our method outperforms existing techniques in removing the information of the irrelevant attributes and maintaining the accuracy on the target label. We also show that our method reduces the communication cost and incurs only a small computational overhead.

研究动机与目标

• 解决边缘-服务器神经网络推理中的隐私泄露问题，即输入数据中的敏感属性可能被服务器暴露。
• 开发一种无监督混淆技术，训练或推理过程中无需使用标记的敏感属性。
• 在保持目标任务高准确率的同时，最小化无关属性的信息泄露。
• 降低边缘设备上的通信成本和计算开销。
• 提供一种通用解决方案，适用于现实世界机器学习即服务（MLaaS）部署中未见或未知的私有属性。

提出的方法

• 将混淆问题表述为在模型输出的失真约束下，最小化原始特征与混淆后特征之间的互信息。
• 通过服务器模型第一层的SVD推导出解析解，以识别并去除零空间分量和低能量信号分量。
• 通过投影到零空间的正交补空间并截断低能量奇异向量来实现混淆。
• 完全在边缘设备上运行，推理过程中无需访问敏感标签或攻击者模型。
• 对信息论优化问题进行松弛，以实现在资源受限设备上的高效、实时计算。
• 基于原始输出与混淆后输出之间的差异设置失真约束，以保持任务准确率。

实验结果

研究问题

• RQ1 无监督方法能否在不知情敏感属性的情况下，有效混淆神经网络特征中的无关信息？
• RQ2 与对抗训练等监督技术相比，所提出的混淆方法在隐私-准确率权衡方面表现如何？
• RQ3 该方法在减少训练期间未见的私有属性泄露方面能达到何种程度？
• RQ4 边缘计算能力如何影响混淆机制的性能？
• RQ5 该方法能否在多样化数据集和属性上，同时保持高模型准确率并最小化信息泄露？

主要发现

• 所提方法在减少对未见私有属性（如化妆和口红）的攻击准确率方面优于监督对抗训练，后者无法有效混淆这些属性。
• 在CelebA数据集上，除与目标高度相关的属性（如高颧骨和张嘴）外，该方法在所有隐藏属性上的攻击准确率均显著降低（低于0.5），其中泄露本就较高。
• 该方法在保持高目标准确率（如微笑分类达到95%）的同时，显著降低了混淆特征与无关属性之间的互信息。
• 随着边缘计算能力的提升，该方法在相同目标准确率下实现了更优的混淆性能，表明其具备与设备能力匹配的可扩展性。
• 该方法计算开销极低，通过仅传输必要且已混淆的特征，有效降低了通信成本。
• 该方法的无监督特性使其在敏感属性未知或动态变化的实际场景中表现出稳健性能。