[论文解读] On the Hardness of Robust Classification

Pascale Gourdeau, Varun Kanade+2 more|arXiv (Cornell University)|Sep 12, 2019

Adversarial Robustness in Machine Learning被引用 12

一句话总结

本文確立了魯棒機器學習的基礎計算複雜度與樣本複雜度邊界，證明當敵手可干擾單一比特時，在無分布的PAC設定下，魯棒學習是不可能的。此外，本文進一步顯示，僅當敵手被限制在O(log n)比特擾動時，單調合取式才可被魯棒地學習，並提供了一個新的、直接的魯棒學習計算困難性的證明，不依賴於外部假設或模型。

ABSTRACT

It is becoming increasingly important to understand the vulnerability of machine learning models to adversarial attacks. In this paper we study the feasibility of robust learning from the perspective of computational learning theory, considering both sample and computational complexity. In particular, our definition of robust learnability requires polynomial sample complexity. We start with two negative results. We show that no non-trivial concept class can be robustly learned in the distribution-free setting against an adversary who can perturb just a single input bit. We show moreover that the class of monotone conjunctions cannot be robustly learned under the uniform distribution against an adversary who can perturb $ω(\log n)$ input bits. However if the adversary is restricted to perturbing $O(\log n)$ bits, then the class of monotone conjunctions can be robustly learned with respect to a general class of distributions (that includes the uniform distribution). Finally, we provide a simple proof of the computational hardness of robust learning on the boolean hypercube. Unlike previous results of this nature, our result does not rely on another computational model (e.g. the statistical query model) nor on any hardness assumption other than the existence of a hard learning problem in the PAC framework.

研究动机与目标

• 從計算學習理論的角度探討魯棒學習的可行性，專注於樣本複雜度與計算複雜度。
• 確定在無分布設定下，以及在均勻分佈等特定分佈下，魯棒學習是否可能。
• 描述在何種最大擾動強度（以比特翻轉計）下，單調合取式仍可被魯棒地學習。
• 提供一個新的、自包含的魯棒學習計算困難性證明，不依賴統計查詢模型或額外的困難假設。

提出的方法

• 使用計算學習理論定義具有多項式樣本複雜度與圖靈可計算學習演算法的魯棒可學習性。
• 引入兩種風險定義：球內精確風險（R^E_ρ）與球內常數風險（R^C_ρ），以捕捉魯棒性的不同解釋。
• 證明當敵手可擾動單一比特時，任何非平凡的概念類別在無分布設定下均無法被魯棒地學習。
• 利用多數函數與錯誤校正碼（例如BCH碼）構造轉換，將概念類別嵌入至更高維空間，以保持魯棒性。
• 將基礎概念類別的PAC學習問題簡化為轉換空間中的k-魯棒學習問題，透過歸約建立計算困難性。
• 採用模擬論證：若轉換空間中的魯棒學習是高效的，則原始空間中的PAC學習也將是高效的，這與已知的困難結果矛盾。

实验结果

研究问题

• RQ1 當敵手可擾動單一輸入比特時，是否任何非平凡的概念類別都可在無分布的PAC設定下被魯棒地學習？
• RQ2 在均勻分佈下，單調合取式類別在何種條件下可被魯棒地學習？
• RQ3 敵手可進行的最大比特擾動數量為多少，使得單調合取式的魯棒學習仍為可行？
• RQ4 是否存在一個不依賴統計查詢模型或外部困難假設的魯棒學習計算困難性的直接證明？

主要发现

• 若敵手被允許擾動單一輸入比特，則任何非平凡的概念類別均無法在無分布的PAC設定下被魯棒地學習。
• 若敵手可擾動ω(log n)個輸入比特，則單調合取式類別無法在均勻分佈下被魯棒地學習。
• 當敵手被限制在O(log n)比特擾動時，單調合取式可在一類廣泛的分佈下（包括均勻分佈）被魯棒地學習。
• 本文提供了一個新的、直接的魯棒學習計算困難性證明，僅依賴於PAC框架中存在困難學習問題的事實，不需統計查詢模型或額外假設。
• 當使用BCH碼等錯誤校正碼構造來嵌入輸入空間時，魯棒學習的樣本複雜度仍為多項式，且與擾動預算k無關。
• 若對應的基礎類別難以PAC學習，則概念類別的魯棒學習即為計算困難，反之亦然，從而建立了兩者之間的緊密聯繫。