[论文解读] Universal Multi-Party Poisoning Attacks

Saeed Mahloujifar, Mohammad Mahmoody+1 more|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本论文在多方学习中引入了通用的$(k,p)$-投毒攻击，其中攻击者控制$m$个参与方中的$k$个，并提交与诚实数据在总变差距离上相差$p$的数据。该文证明，此类攻击可将坏假设属性的概率从$\mu$提升至$\mu^{1-pk/m}$，并实现了$\Omega(p \cdot k/m)$的可证明增益，仅使用干净标签和在线自适应机制。

ABSTRACT

In this work, we demonstrate universal multi-party poisoning attacks that adapt and apply to any multi-party learning process with arbitrary interaction pattern between the parties. More generally, we introduce and study $(k,p)$-poisoning attacks in which an adversary controls $k\in[m]$ of the parties, and for each corrupted party $P_i$, the adversary submits some poisoned data $\mathcal{T}'_i$ on behalf of $P_i$ that is still ``$(1-p)$-close'' to the correct data $\mathcal{T}_i$ (e.g., $1-p$ fraction of $\mathcal{T}'_i$ is still honestly generated). We prove that for any ``bad'' property $B$ of the final trained hypothesis $h$ (e.g., $h$ failing on a particular test example or having ``large'' risk) that has an arbitrarily small constant probability of happening without the attack, there always is a $(k,p)$-poisoning attack that increases the probability of $B$ from $μ$ to by $μ^{1-p \cdot k/m} = μ+ Ω(p \cdot k/m)$. Our attack only uses clean labels, and it is online. More generally, we prove that for any bounded function $f(x_1,\dots,x_n) \in [0,1]$ defined over an $n$-step random process $\mathbf{X} = (x_1,\dots,x_n)$, an adversary who can override each of the $n$ blocks with even dependent probability $p$ can increase the expected output by at least $Ω(p \cdot \mathrm{Var}[f(\mathbf{x})])$.

研究动机与目标

• 为多方投毒攻击建立一个通用模型，以捕捉分布式学习中现实世界中的对抗性数据污染。
• 分析当攻击者控制$m$个数据提供方中的$k$个，并可提交在总变差距离上与诚实数据相差$p$的数据时，投毒攻击的内在能力。
• 证明此类攻击可普遍提高最终模型中坏属性的可能性，无论学习算法或交互模式如何。
• 建立失败概率增加的紧致定量边界，表明即使每方污染程度极低，失败概率的增益仍为$\Omega(p \cdot k/m)$。
• 证明该攻击高效、可在线执行，且仅使用干净标签，因此实用且难以被检测。

提出的方法

• 引入$(k,p)$-投毒模型，其中攻击者控制$k$个参与方，并在总变差距离上提交与原始分布相差$p$的数据。
• 将多方学习过程建模为随机变量序列$\mathbf{x} = (x_1, \dots, x_n)$，其中每个$x_i$对应一个参与方的数据块。
• 定义一个函数$f$作用于该序列，以捕捉坏属性$B$（例如，模型在测试样本上的失败或高风险）。
• 采用基于覆盖的篡改策略：攻击者随机选择$k$个参与方，并以概率$p$独立篡改每个参与方，从而在轮次上形成$(p \cdot k/m)$-覆盖。
• 应用广义的$p$-篡改定理（定理3.5），证明$f$的期望值至少增加$\Omega(p \cdot \mathrm{Var}[f(\overline{\mathbf{x}})])$。
• 利用平均值论证和集中不等式，推导出在统计距离约束下，坏属性$B$概率增加的下界。

实验结果

研究问题

• RQ1 能否构建一种通用投毒攻击，使其在所有多方学习协议中均有效，无论交互模式或学习算法如何？
• RQ2 当攻击者控制$k$个参与方并提交与诚实数据相差$p$的数据时，坏模型属性$B$的概率最大可实现多大的可证明提升？
• RQ3 攻击能力如何随被污染参与方数量$k$、接近度参数$p$以及总参与方数$m$而变化？
• RQ4 此类攻击能否高效且在线构建，仅使用干净标签，且无需了解学习算法的内部结构？
• RQ5 是否存在一个对任意有界函数$f$作用于数据序列均成立的失败概率增加的紧致定量边界？

主要发现

• 对于任意多方学习协议，均存在一个$(k,p)$-投毒攻击，可将坏属性$B$的概率从$\mu$提升至$\mu^{1 - pk/m}$，该值至少为$\mu + \Omega(pk/m)$。
• 该攻击具有普遍性，适用于任意交互模式的学习过程，包括在线和顺序数据共享。
• 该攻击在坏属性概率上实现了$\Omega(pk/m)$的可证明增益，即使攻击者数据与原始分布仅相差$p$。
• 该方法高效且可在线执行，仅需干净标签，无需访问学习算法的内部结构。
• 该攻击对统计距离约束具有鲁棒性：攻击者数据与诚实数据的总变差距离保持在$p$以内，因此难以被检测。
• 理论边界是紧致的，通过基于覆盖的篡改策略和基于方差的分析推导得出，使用伯努利和切尔诺夫型不等式给出了显式的集中不等式边界。