[论文解读] Robustness Verification for Transformers

Zhouxing Shi, Huan Zhang+3 more|arXiv (Cornell University)|Feb 16, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 35

一句话总结

本文提出了针对具有自注意力的 Transformer 模型的首个鲁棒性验证方法，推导出紧致的线性界限，并结合前向和后向界传播以在输入扰动下对预测进行认证。

ABSTRACT

Robustness verification that aims to formally certify the prediction behavior of neural networks has become an important tool for understanding model behavior and obtaining safety guarantees. However, previous methods can usually only handle neural networks with relatively simple architectures. In this paper, we consider the robustness verification problem for Transformers. Transformers have complex self-attention layers that pose many challenges for verification, including cross-nonlinearity and cross-position dependency, which have not been discussed in previous works. We resolve these challenges and develop the first robustness verification algorithm for Transformers. The certified robustness bounds computed by our method are significantly tighter than those by naive Interval Bound Propagation. These bounds also shed light on interpreting Transformers as they consistently reflect the importance of different words in sentiment analysis.

研究动机与目标

• 将鲁棒性验证作为神经网络安全性和可解释性工具的重要性进行动机阐释，特别是针对复杂架构。
• 开发能够处理 Transformer 的自注意力的验证算法，以在扰动下对预测进行认证。
• 产生比简单 IBP 更紧的界限，并为 NLP 任务中的词语重要性提供可解释的洞察。
• 在情感分析数据集上展示适用性，并分析所提方法的效率和紧致性。

提出的方法

• 采用线性松弛框架来在输入扰动下传播神经元输出的下界和上界。
• 通过推导点积、softmax 和加权和的闭式线性界限来处理自注意力，以应对跨非线性性。
• 为自注意力引入前向界限传播过程以降低复杂性，并引入后向过程以获得更紧的界限。
• 结合前向和后向界限传播以实现 O(m^2 n) 的界限矩阵，显著降低从 O(m^2 n^2) 的复杂度。
• 通过线性变换和一元非线性函数对界限进行反向传播，将 CROWN-like 界限推广到 Transformer。

实验结果

研究问题

• RQ1 可以对基于 Transformer 的模型在输入序列的微小扰动下进行鲁棒性认证吗？
• RQ2 如何在自注意力中高效传播线性界限，因为它涉及跨位置依赖和跨非线性性？
• RQ3 所得的认证界限是否能够在情感分析等任务中真实反映输入词的重要性？

主要发现

• 对 Transformer 模型的认证鲁棒性界限显著比 IBP 得到的界限更紧。
• 前向界限与后向界限的组合在与完全后向传播相比的时间显著缩短的同时保持了有竞争力的紧度。
• 该方法可扩展到较小的 Transformer 变体，并产生与情感分析中词语重要性相关的界限。
• 在 Yelp 和 SST 数据集上的实验结果表明，在无需依赖大型预训练模型的情况下，获得了有意义、可解释的鲁棒性证书。
• 界限相对于上界显示出合理的差距，表明其在实际应用中的效用与对较为简单网络的验证类似。