[论文解读] Semantic-Preserving Adversarial Code Comprehension

Yiyang Li, Hongqiu Wu+1 more|arXiv (Cornell University)|Sep 12, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出语义保持对抗性代码嵌入（SPACE），一种新颖方法，通过在连续嵌入空间中生成最坏情况的对抗性扰动，同时保持代码语义和语法正确性，从而增强预训练语言模型（PrLM）在代码理解方面的性能。SPACE 同时提升了模型的性能与鲁棒性，在多个基准测试中优于 CodeBERT 和 GraphCodeBERT 等强基线模型，且在最先进的攻击方法下，对抗成功率降低超过10%。

ABSTRACT

Based on the tremendous success of pre-trained language models (PrLMs) for source code comprehension tasks, current literature studies either ways to further improve the performance (generalization) of PrLMs, or their robustness against adversarial attacks. However, they have to compromise on the trade-off between the two aspects and none of them consider improving both sides in an effective and practical way. To fill this gap, we propose Semantic-Preserving Adversarial Code Embeddings (SPACE) to find the worst-case semantic-preserving attacks while forcing the model to predict the correct labels under these worst cases. Experiments and analysis demonstrate that SPACE can stay robust against state-of-the-art attacks while boosting the performance of PrLMs for code.

研究动机与目标

• 为解决预训练语言模型（PrLM）在源代码理解任务中性能与鲁棒性之间的权衡问题。
• 探索在代码的连续嵌入空间而非离散标记空间中进行对抗性训练的可行性和有效性。
• 开发一种实用且可微的方法，在对抗性训练过程中保持语义含义和语法正确性。
• 同时提升 PrLM 在代码理解任务中的泛化性能与鲁棒性。

提出的方法

• SPACE 在代码标记的连续嵌入空间中生成最坏情况的对抗性扰动，而非直接修改离散标记。
• 该方法使用基于梯度的优化，寻找在保持语义意义和句法正确性前提下最具破坏性的扰动。
• 扰动被限制仅影响标识符嵌入，保持关键字和结构标记不变，以维护语法完整性。
• 该方法天然可微，可无缝集成到标准的基于梯度的训练框架中，仅需极少代码修改。
• 它将对抗性训练与编程语言的领域特定特征（如语义保持和句法有效性）相结合。
• 通过基于梯度的扰动和随机扰动基线进行评估，结果表明其在鲁棒性与性能方面均表现更优。

实验结果

研究问题

• RQ1 在连续嵌入空间中进行对抗性训练是否能在不损害任一性能的前提下，同时提升 PrLM 在代码理解任务中的性能与鲁棒性？
• RQ2 与直接修改离散标记的标准对抗性训练相比，语义保持的对抗性训练表现如何？
• RQ3 在保持语法正确性和语义含义的同时，嵌入空间扰动能在多大程度上维持作为对抗性样本的有效性？
• RQ4 所提出的方法是否在干净样本和对抗样本设置下均优于 CodeBERT 和 GraphCodeBERT 等强基线模型？
• RQ5 该模型对真实世界中的语义保持代码变换（如标识符重命名和控制流修改）具有多强的鲁棒性？

主要发现

• SPACE 在多个代码理解任务中显著提升了 CodeBERT 和 GraphCodeBERT 的性能，在 CodeSearchNet 上平均准确率提升 2.65%，在 CodeXGLUE 上提升 2.62%。
• 在 CodeQA 数据集上，SPACE 在所有测试攻击方法下使 GraphCodeBERT 的对抗成功率（ASR）降低超过 10%，证明了其优越的鲁棒性。
• 与基线模型相比，SPACE 平均将 CodeBERT 和 GraphCodeBERT 在语义保持代码变换下的性能下降分别减少了 3.6% 和 4.5%。
• 对所有标记进行的原始对抗性训练仅带来极小的鲁棒性增益（低于 0.5%），表明其无法有效保持语义和句法完整性。
• 基于梯度的扰动始终比随机扰动更有效，且语义保持约束能进一步增强鲁棒性。
• 该方法实用且高效，由于其可微特性，仅需几行代码即可集成到现有训练流程中。