[论文解读] Robust Testing and Estimation under Manipulation Attacks

Jayadev Acharya, Ziteng Sun+1 more|arXiv (Cornell University)|Apr 21, 2021

Privacy-Preserving Technologies in Data参考文献 31被引用 4

一句话总结

本文提出了一套统一框架，用于在集中式和分布式设置下，针对通信和本地差分隐私（LDP）约束下的操纵攻击，实现鲁棒的分布估计与检验。通过利用消息之间的汉明距离将操纵强度与地球移位距离（EMD）关联起来，结合随机哈希和ℓ₁/ℓ₁等距变换等新颖技术，建立了紧致的极小极大误差界，在对抗性控制最多γ比例用户强污染模型下实现了最优速率。

ABSTRACT

We study robust testing and estimation of discrete distributions in the strong contamination model. We consider both the "centralized setting" and the "distributed setting with information constraints" including communication and local privacy (LDP) constraints. Our technique relates the strength of manipulation attacks to the earth-mover distance using Hamming distance as the metric between messages(samples) from the users. In the centralized setting, we provide optimal error bounds for both learning and testing. Our lower bounds under local information constraints build on the recent lower bound methods in distributed inference. In the communication constrained setting, we develop novel algorithms based on random hashing and an $\ell_1/\ell_1$ isometry.

研究动机与目标

• 解决在最多γ比例用户遭受对抗性操纵时，离散分布学习与同质性检验中的鲁棒推断问题。
• 分析信息约束（特别是通信限制和本地差分隐私（LDP））对操纵攻击下鲁棒推断的影响。
• 在集中式与分布式设置下，设计最优算法并推导出紧致的极小极大误差界，应对对抗性消息操纵。
• 通过将用户消息间的汉明距离作为度量，将操纵攻击的强度与地球移位距离（EMD）关联，统一分析操纵攻击。
• 通过χ²压缩和信道信息矩阵方法建立下界，实现对LDP和通信约束下根本极限的紧致刻画。

提出的方法

• 将操纵攻击建模为强污染模型，其中敌手控制γn名用户，可任意篡改其消息，但无法访问原始输入，仅拥有协议和公共随机性的完全知识。
• 使用消息分布之间的地球移位距离（EMD）作为统计误差的代理指标，利用消息间的汉明距离量化操纵的影响。
• 应用随机哈希和ℓ₁/ℓ₁等距变换，在消息长度ℓ受限的分布式设置下设计通信高效且鲁棒的算法。
• 通过将信息约束下的EMD上界与信道信息矩阵H(W)的迹范数关联，推导出上界，该矩阵捕捉了信道对分布结构的利用方式。
• 通过χ²压缩和在具有交替±1偏置的分布上构造均匀混合分布的方法建立下界，将EMD与H(W)的迹范数联系起来。
• 通过约化引理将受限推断问题转化为无约束问题，证明在ℓ比特消息下，鲁棒检验风险与2^ℓ级消息下的风险处于同一数量级，仅相差常数因子。

实验结果

研究问题

• RQ1 在通信和LDP约束下，当最多γ比例用户遭受对抗性操纵时，鲁棒分布估计与同质性检验的根本极限是什么？
• RQ2 操纵攻击的强度如何与统计误差相关联？能否通过地球移位距离（EMD）和消息间的汉明距离对其进行形式化？
• RQ3 能否为通信和本地隐私受限的分布式设置下的鲁棒推断设计最优算法？其误差界如何？
• RQ4 信息约束（如LDP和消息长度限制）如何影响鲁棒推断任务中的极小极大误差率？
• RQ5 信道信息矩阵H(W)在刻画操纵攻击下鲁棒推断的根本极限中起什么作用？

主要发现

• 论文在信息约束下，为鲁棒分布学习建立了极小极大下界Ω(γ√(k / max_W ||H(W)||_* ))，其中||H(W)||_*为信道信息矩阵的迹范数。
• 在本地差分隐私（LDP）下，下界变为Ω(γ√(k / ε²))，表明隐私参数ε使鲁棒性按ε⁻¹比例下降。
• 在ℓ比特消息的通信约束下，下界为Ω(γ√(k / 2^ℓ))，表明为保持鲁棒性，消息长度ℓ必须与k的对数成比例。
• 在ℓ比特通信下，鲁棒检验的上界为O(√(k / 2^ℓ) × R_IT(2^ℓ, n, γ))，表明问题可约化为有效字母表大小为2^ℓ的无约束情形。
• 论文证明，在无信息约束下，LDP下的鲁棒检验极小极大风险为Ω(√(kγ/n))，与先前工作的已知下界一致。
• 所提出的算法在集中式与分布式设置下均达到最优速率，误差界与推导的下界仅相差常数因子，证明了结果的紧致性。