[论文解读] On Inferring Training Data Attributes in Machine Learning Models

Benjamin Zi Hao Zhao, Hassan Jameel Asghar+2 more|arXiv (Cornell University)|Aug 28, 2019

Adversarial Robustness in Machine Learning参考文献 10被引用 6

一句话总结

本文挑战了成员推理攻击（MIAs）可可靠支持属性推理攻击（AIAs）的假设，通过证明MIAs无法有效区分训练数据成员与特征空间中相似的非成员。作者提出一种宽松的‘近似属性推理’模型，表明尽管MIAs在处理邻近邻居时表现不佳，但当目标是寻找附近且合理的属性值而非精确匹配时，仍能实现有意义的属性恢复。

ABSTRACT

A number of recent works have demonstrated that API access to machine learning models leaks information about the dataset records used to train the models. Further, the work of \cite{somesh-overfit} shows that such membership inference attacks (MIAs) may be sufficient to construct a stronger breed of attribute inference attacks (AIAs), which given a partial view of a record can guess the missing attributes. In this work, we show (to the contrary) that MIA may not be sufficient to build a successful AIA. This is because the latter requires the ability to distinguish between similar records (differing only in a few attributes), and, as we demonstrate, the current breed of MIA are unsuccessful in distinguishing member records from similar non-member records. We thus propose a relaxed notion of AIA, whose goal is to only approximately guess the missing attributes and argue that such an attack is more likely to be successful, if MIA is to be used as a subroutine for inferring training record attributes.

研究动机与目标

• 探究成员推理攻击（MIAs）是否能有效支持机器学习模型中的属性推理攻击（AIAs）
• 挑战MIAs可可靠区分训练数据成员与相似非成员的假设
• 提出一种宽松的属性推理形式——‘近似属性推理’，其目标是识别邻近且合理的属性值，而非精确匹配
• 通过实证评估MIAs在不同汉明距离下区分成员与非成员的性能
• 评估现有基于MIAs的AIA方法的局限性，并探索替代攻击模型

提出的方法

• 作者将‘强成员推理’定义为：在给定距离度量下，利用特征空间中相近的非成员，区分成员与非成员的任务
• 提出‘近似属性推理’作为AIA的宽松变体，其目标是输出一个接近真实缺失属性的向量，而非必须完全匹配
• 在Location-30和Purchases-2,10,20,50,100数据集上训练的神经网络模型上开展实验，以模型输出的置信度分数作为推理基础
• 通过在训练成员附近控制汉明距离生成合成非成员向量，以测试MIAs在不同距离下的性能表现
• 通过衡量区分器在不同距离下识别成员与非成员的准确率来评估MIAs的成功率，使用最高置信度分数作为决策信号
• 通过测量推断向量与真实成员向量之间平均汉明距离来评估攻击效果，并与随机猜测进行对比

实验结果

研究问题

• RQ1 成员推理攻击能否可靠地区分特征空间中相近的训练数据成员与非成员？
• RQ2 当非成员与训练成员在特征空间中非常接近时，成员推理性能是否会显著下降？
• RQ3 能否利用成员推理作为子程序成功实施属性推理攻击，特别是当目标记录与非成员相似时？
• RQ4 是否存在一种有效的替代方案，可在MIAs对邻近邻居失效时仍保持有效？
• RQ5 成员与非成员之间的汉明距离如何影响其通过置信度分数的可区分性？

主要发现

• 成员推理攻击在区分特征空间中相近的训练数据成员与非成员时完全失效，当汉明距离较小时，性能仅相当于随机猜测
• 随着非成员与最近训练成员之间汉明距离的增加，成员推理的成功率显著提升
• 在Location-30数据集上，所提出的近似属性推理攻击实现了与真实成员向量平均约6.5的汉明距离，显著优于随机猜测的7.5期望值
• 攻击中推断向量的分布明显集中在真实成员向量附近，表明该方法能有效识别出合理的属性补全结果
• 结果表明，尽管由于与相似非成员混淆，MIAs在精确属性推理上无效，但在近似推理中仍具实用性
• 研究表明，当缺失属性数量较少且非成员在特征空间中接近时，标准假设（即MIAs可作为AIA的子程序）存在缺陷