[论文解读] The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets

Nicholas Carlini, Chang Liu+3 more|arXiv (Cornell University)|Feb 22, 2018

Privacy-Preserving Technologies in Data参考文献 33被引用 123

一句话总结

本文提出了一种名为“exposure”的简单度量方法，用于衡量深度学习模型中意外记忆敏感信息的程度。通过黑盒API访问，作者展示了高效的秘密提取方法，并表明记忆现象在训练初期即出现，且在不同模型中持续存在，且并非源于过拟合——这凸显了需要更强的防御机制，而他们验证了通过差分隐私训练可实现此类防御。

ABSTRACT

Machine learning models based on neural networks and deep learning are being rapidly adopted for many purposes. What those models learn, and what they may share, is a significant concern when the training data may contain secrets and the models are public -- e.g., when a model helps users compose text messages using models trained on all users' messages. This paper presents exposure: a simple-to-compute metric that can be applied to any deep learning model for measuring the memorization of secrets. Using this metric, we show how to extract those secrets efficiently using black-box API access. Further, we show that unintended memorization occurs early, is not due to over-fitting, and is a persistent issue across different types of models, hyperparameters, and training strategies. We experiment with both real-world models (e.g., a state-of-the-art translation model) and datasets (e.g., the Enron email dataset, which contains users' credit card numbers) to demonstrate both the utility of measuring exposure and the ability to extract secrets. Finally, we consider many defenses, finding some ineffective (like regularization), and others to lack guarantees. However, by instantiating our own differentially-private recurrent model, we validate that by appropriately investing in the use of state-of-the-art techniques, the problem can be resolved, with high utility.

研究动机与目标

• 量化在包含私密或含秘密数据的训练数据集上训练的深度学习模型中，对敏感数据的意外记忆程度。
• 开发一种实用且通用的度量方法——“exposure”，用于衡量任何深度学习模型中的记忆程度。
• 证明仅通过黑盒API访问即可高效提取秘密，即使在生产模型中亦可实现。
• 探究记忆现象的根本原因，包括其发生时间、持续性以及与过拟合的独立性。
• 评估现有防御措施，并验证差分隐私训练可在保持模型实用性的前提下，有效缓解记忆现象。

提出的方法

• 提出基于模型在接收到记忆化数据实例时输出概率分布的“exposure”度量方法。
• 利用对模型API的黑盒查询访问，通过测量输出可能性，迭代探测记忆化的秘密。
• 在包含秘密（如含信用卡号的Enron邮件）的数据集上训练模型，以评估不同架构和训练策略下的记忆现象。
• 应用多种防御措施（如权重衰减、Dropout和对抗性训练），评估其在降低exposure方面的有效性。
• 实现并评估一种差分隐私递归模型，以验证隐私保护训练可有效消除记忆现象，同时保持高模型实用性。

实验结果

研究问题

• RQ1 深度学习模型在训练数据中无意记忆敏感信息的程度如何，即使这些数据本不应被学习？
• RQ2 是否可仅通过黑盒API访问从模型中提取秘密，且效率如何？
• RQ3 记忆现象是否在训练初期即发生，并在不同模型架构和超参数下持续存在？
• RQ4 常见的正则化技术是否能有效减少记忆现象，还是仅治标不治本？
• RQ5 差分隐私训练是否能有效消除记忆现象，同时保持模型实用性？

主要发现

• 秘密的记忆现象在训练初期即发生，且即使在不过拟合的模型中也持续存在，表明其并非过拟合的副产物。
• “exposure”度量方法在多种模型和数据集上成功量化了记忆现象，包括最先进的翻译模型。
• 仅通过黑盒API查询，即可以高成功率从Enron数据集中提取信用卡号等秘密。
• 常见的防御措施（如权重衰减和Dropout）无法降低exposure，表明其对记忆现象无效。
• 差分隐私训练可有效消除记忆现象，同时保持高模型实用性，验证了其作为可行防御手段的有效性。