[论文解读] Near-Optimal Evasion of Convex-Inducing Classifiers

Blaine Nelson, Benjamin I. P. Rubinstein+7 more|arXiv (Cornell University)|Mar 14, 2010

Machine Learning and Algorithms参考文献 6被引用 13

一句话总结

本文提出了一种针对凸性诱导分类器（如线性分类器和异常检测模型）的高效查询式逃避攻击，通过构建近似最小成本实例，无需逆向工程决策边界。该方法采用迭代超平面切割与凸负样本区域内的采样技术，实现多项式时间复杂度的查询效率，并在性能上优于先前针对线性分类器的逆向工程方法。

ABSTRACT

Classifiers are often used to detect miscreant activities. We study how an adversary can efficiently query a classifier to elicit information that allows the adversary to evade detection at near-minimal cost. We generalize results of Lowd and Meek (2005) to convex-inducing classifiers. We present algorithms that construct undetected instances of near-minimal cost using only polynomially many queries in the dimension of the space and without reverse engineering the decision boundary.

研究动机与目标

• 开发针对凸性诱导分类器的高效逃避策略，使攻击者在最小化成本的同时规避检测。
• 避免对分类器决策边界的逆向工程，因为该过程在一般情况下计算复杂度较高。
• 设计仅需输入维度多项式数量查询的算法，确保可扩展性。
• 将近似最优逃避策略从线性分类器扩展至更广泛的类别，如具有凸边界的异常检测器。
• 提供一种实用的对抗性探测框架，适用于部分可观测性与特征约束条件下的实际场景。

提出的方法

• 通过成员查询迭代进行超平面切割，以缩小负样本区域，同时保持从凸负样本空间中均匀采样的点集。
• 采用 RoundingBody 算法将负样本区域转换为近乎各向同性的凸体，从而实现高效采样与搜索。
• 在每次切割后使用 hit-and-run 方法重新采样点，确保采样均匀性并维持足够的样本数量。
• 结合对成本层级的二分查找与 IntersectSearch，定位加权 ℓ₁ 球内最小成本的逃避实例。
• 利用一个在成本 C 处有效的分离超平面，对所有成本低于 C 的点依然有效，从而实现搜索状态的复用。
• 引入 SetSearch（算法 3.8）以迭代方式细化成本区间，收敛至 ϵ-IMAC 解，且保证查询效率。

实验结果

研究问题

• RQ1 是否可以在不逆向工程决策边界的情况下，实现对凸性诱导分类器的近似最优逃避？
• RQ2 在凸负样本类设置下，构造近似最小成本实例的查询复杂度是多少？
• RQ3 对于线性分类器，基于查询的逃避方法与逆向工程方法相比性能如何？
• RQ4 当负样本类为凸集时，随机化椭球方法是否能高效解决逃避问题？
• RQ5 部分可观测性与近似查询对 ϵ-IMAC 搜索可行性有何影响？

主要发现

• 所提出的算法在输入维度上实现多项式时间复杂度的查询效率，成功实现对凸性诱导分类器的 ϵ-IMAC（近似最优逃避）。
• 对于线性分类器，新方法所需的查询次数少于 Lowd 和 Meek（2005）提出的逆向工程方法。
• 采用 hit-and-run 采样与迭代超平面切割，可保持从凸负样本区域中均匀采样的点集，从而支持高效搜索。
• 该方法避免了对决策边界的完整估计，而后者在高维空间中通常不可行或计算成本过高。
• 当正样本类为凸集时，算法通过在加权 ℓ₁ 球内搜索，能高效找到近似最小成本实例。
• 该框架在部分可观测条件下依然稳健，可适应现实世界中的约束条件，如特征映射与噪声查询。