[论文解读] Rearchitecting Classification Frameworks For Increased Robustness

Varun Chandrasekaran, Brian Tang+4 more|arXiv (Cornell University)|May 26, 2019

Adversarial Robustness in Machine Learning参考文献 79被引用 5

一句话总结

本文提出了一种分层分类框架，通过引入源自领域知识或数据驱动聚类的物理不变性（如形状或位置）来提升对抗鲁棒性，同时不牺牲准确性。通过围绕这些不变性构建分类器，该方法限制了攻击者的有效攻击空间，在道路标志分类和说话人识别任务中实现了显著的鲁棒性提升，且计算开销极低。

ABSTRACT

While generalizing well over natural inputs, neural networks are vulnerable to adversarial inputs. Existing defenses against adversarial inputs have largely been detached from the real world. These defenses also come at a cost to accuracy. Fortunately, there are invariances of an object that are its salient features; when we break them it will necessarily change the perception of the object. We find that applying invariants to the classification task makes robustness and accuracy feasible together. Two questions follow: how to extract and model these invariances? and how to design a classification paradigm that leverages these invariances to improve the robustness accuracy trade-off? The remainder of the paper discusses solutions to the aformenetioned questions.

研究动机与目标

• 解决深度神经网络中自然准确率与对抗鲁棒性之间长期存在的权衡问题。
• 将领域特定的不变性（如形状或空间布局）整合到分类流程中，以约束对抗性扰动。
• 开发一种分层分类框架，在中间层强制执行不变性，通过结构化的标签划分提升鲁棒性。
• 证明当缺乏领域知识时，从数据嵌入中提取的不变性可有效指导鲁棒模型设计。
• 在真实世界任务中验证该方法的有效性，包括道路标志上的物理世界对抗样本以及说话人识别。

提出的方法

• 将模型不变性数学化为关系 𝒫 ⊆ 𝒳 × 𝒳，使其在扰动下仍保持语义意义，例如保持停车标志的八边形形状。
• 对网络中间层和最终层的特征嵌入进行聚类，以发现代表不变性结构的标签等价簇。
• 设计一种分层分类器，其中顶层分类器强制执行基于不变性的等价类，而叶节点分类器在每个类别内执行细粒度预测。
• 训练每个组件（不变性强制模块与叶节点分类器）以具备鲁棒性，确保通过组合式设计使整个系统继承鲁棒性。
• 利用多模态输入（如2D图像与3D点云）提升物理世界场景下的鲁棒性，尤其针对基于LiDAR的攻击。
• 将该框架应用于真实世界任务，包括道路标志识别与说话人识别，以评估其对可物理实现的对抗性样本的防御能力。

实验结果

研究问题

• RQ1 强制执行物理不变性（如形状或位置）是否能改善深度学习模型的鲁棒性-准确率权衡？
• RQ2 当缺乏领域专业知识时，如何从数据中自动发现不变性？
• RQ3 一种强制执行不变性的分层分类架构是否能优于标准模型的对抗鲁棒性？
• RQ4 从网络嵌入聚类中提取的不变性在多大程度上能转化为实际的鲁棒性增益？
• RQ5 此类框架能否有效防御可物理实现的对抗性攻击，如被篡改的路标或3D点云操作？

主要发现

• 通过强制执行不变性的分层分类框架在不降低自然准确率的前提下实现了更高的鲁棒性，成功打破了传统鲁棒性-准确率权衡。
• 形状与空间布局等不变性显著缩小了攻击者的有效攻击空间，限制了定向对抗样本的可行性。
• 深度网络特征嵌入的聚类揭示了有意义的标签等价关系，可用于定义鲁棒的不变类。
• 该方法在道路标志分类任务中展现出显著的鲁棒性增益，成功防御了如形状修改的打印路标等可物理实现的对抗性扰动。
• 该框架在多模态场景（如结合2D图像与3D点云）中表现有效，可抵御基于LiDAR的对抗攻击。
• 该方法以极低的计算开销实现了鲁棒性提升，避免了昂贵的对抗训练或认证程序。