[论文解读] RS-Del: Edit Distance Robustness Certificates for Sequence Classifiers via Randomized Deletion

Zhuoqun Huang, Neil G. Marchant+4 more|arXiv (Cornell University)|Jan 31, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出RS-Del，一种仅使用随机删除的随机平滑方法，用于对序列分类器在编辑距离有界攻击下提供鲁棒性认证——涵盖替换、插入和删除操作。该方法在MalConv数据集上，于编辑距离半径128字节时实现了91%的认证准确率，其核心是基于最长公共子序列的新型证明，而非标准的Neyman-Pearson框架。

ABSTRACT

Randomized smoothing is a leading approach for constructing classifiers that are certifiably robust against adversarial examples. Existing work on randomized smoothing has focused on classifiers with continuous inputs, such as images, where $\ell_p$-norm bounded adversaries are commonly studied. However, there has been limited work for classifiers with discrete or variable-size inputs, such as for source code, which require different threat models and smoothing mechanisms. In this work, we adapt randomized smoothing for discrete sequence classifiers to provide certified robustness against edit distance-bounded adversaries. Our proposed smoothing mechanism randomized deletion (RS-Del) applies random deletion edits, which are (perhaps surprisingly) sufficient to confer robustness against adversarial deletion, insertion and substitution edits. Our proof of certification deviates from the established Neyman-Pearson approach, which is intractable in our setting, and is instead organized around longest common subsequences. We present a case study on malware detection--a binary classification problem on byte sequences where classifier evasion is a well-established threat model. When applied to the popular MalConv malware detection model, our smoothing mechanism RS-Del achieves a certified accuracy of 91% at an edit distance radius of 128 bytes.

研究动机与目标

• 解决离散、可变长度序列输入（如源代码和二进制可执行文件）缺乏认证鲁棒性方法的问题。
• 为包含插入、删除和替换操作的编辑距离有界攻击者，开发一种鲁棒性认证框架。
• 仅通过随机删除实现高效且可靠的认证，简化平滑机制与分析过程。
• 支持可调决策阈值，以在高风险场景（如恶意软件检测）中平衡鲁棒性与准确率。
• 提供可扩展且实用的认证方法，通过查询访问基础分类器，兼容任意基分类器。

提出的方法

• 提出RS-Del，一种随机平滑机制，通过在输入序列上应用随机删除来构建平滑分类器。
• 以输入与其扰动版本之间的最长公共子序列（LCS）作为参考点，用于限制平滑空间中的置信度分数。
• 基于LCS在扰动下保持一致的概率，推导出认证边界，从而提供鲁棒性保证。
• 用基于LCS的置信度边界的新颖证明结构，替代在此场景下难以处理的Neyman-Pearson框架。
• 采用二分查找高效计算给定输入和置信度阈值下的最大认证编辑距离半径。
• 支持可调决策阈值，以调整鲁棒性半径与误分类率之间的权衡，尤其适用于存在强动机误分类恶意样本的对抗性场景。

实验结果

研究问题

• RQ1 仅基于随机删除的平滑机制，能否在序列分类器中对包含插入、删除和替换操作的对抗性编辑提供认证鲁棒性？
• RQ2 能否在不依赖标准Neyman-Pearson框架的前提下，推导出适用于编辑距离鲁棒性的可计算认证方法？
• RQ3 与随机删减（randomized ablation）等现有方法相比，RS-Del在认证半径和置信度边界方面表现如何？
• RQ4 RS-Del在现实世界序列分类任务（如高精度恶意软件检测）中可应用到何种程度？
• RQ5 使用最长公共子序列是否能提供比传统基于汉明距离的方法更紧致且更高效的鲁棒性证书？

主要发现

• 在MalConv恶意软件检测模型上，RS-Del在编辑距离半径128字节时实现了91%的认证准确率。
• 该方法仅通过平滑过程中的随机删除，即实现了对三种编辑操作（替换、插入、删除）的认证鲁棒性。
• 基于最长公共子序列的认证证明，相比标准Neyman-Pearson方法，能提供更紧致的置信度边界，后者在此场景下难以处理。
• RS-Del在认证紧致性方面优于随机删减，论文中通过形式化比较予以验证。
• 该方法高效且实用，仅需对基分类器进行查询访问，即可实现对长序列的可扩展认证。
• 可调决策阈值的使用，使得在鲁棒性与准确率之间实现有效权衡成为可能，尤其在高风险分类任务中具有显著优势。