[论文解读] Orthogonalizing Convolutional Layers with the Cayley Transform

Asher Trockman, J. Zico Kolter|arXiv (Cornell University)|Apr 14, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用 11

一句话总结

该论文提出了一种新颖的方法，通过在傅里叶域中使用Cayley变换直接参数化正交卷积层，实现高效的逆计算和高精度的正交性。该方法在ℓ₂-有界攻击下实现了最先进的认证对抗鲁棒性，同时可扩展至更大规模的网络，优于以往的Lipschitz约束和正交卷积方法。

ABSTRACT

Recent work has highlighted several advantages of enforcing orthogonality in the weight layers of deep networks, such as maintaining the stability of activations, preserving gradient norms, and enhancing adversarial robustness by enforcing low Lipschitz constants. Although numerous methods exist for enforcing the orthogonality of fully-connected layers, those for convolutional layers are more heuristic in nature, often focusing on penalty methods or limited classes of convolutions. In this work, we propose and evaluate an alternative approach to directly parameterize convolutional layers that are constrained to be orthogonal. Specifically, we propose to apply the Cayley transform to a skew-symmetric convolution in the Fourier domain, so that the inverse convolution needed by the Cayley transform can be computed efficiently. We compare our method to previous Lipschitz-constrained and orthogonal convolutional layers and show that it indeed preserves orthogonality to a high degree even for large convolutions. Applied to the problem of certified adversarial robustness, we show that networks incorporating the layer outperform existing deterministic methods for certified defense against $\ell_2$-norm-bounded adversaries, while scaling to larger architectures than previously investigated. Code is available at https://github.com/locuslab/orthogonal-convolutions.

研究动机与目标

• 为解决正交卷积层缺乏直接、可扩展且表达能力强的参数化方法的问题。
• 克服启发式惩罚方法和核重塑在强制卷积正交性方面的局限性。
• 在不依赖迭代投影或谱归一化的情况下，实现在大规模卷积神经网络中的高精度正交性。
• 通过使用确定性、梯度范数保持的层，提升ℓ₂-范数有界扰动下的认证对抗鲁棒性。
• 提供一种在各种架构和通道数下均能在32位精度下保持正交性的参数化方法。

提出的方法

• 该方法在傅里叶域中对一个反对称卷积应用Cayley变换，以确保生成的权重矩阵为正交矩阵。
• 利用傅里叶域高效计算Cayley变换所需的逆卷积，避免昂贵的矩阵求逆。
• 通过构造直接强制正交性，避免基于优化的惩罚或投影方法。
• 该方法与标准卷积神经网络架构兼容，支持任意卷积核大小和通道维度。
• 该方法在PyTorch中实现，并通过https://github.com/locuslab/orthogonal-convolutions发布代码。
• 前向传播中包含一个预钩子，当步长=2时重新排列输入张量，通过einops重排保持空间维度。

实验结果

研究问题

• RQ1 能否在不依赖迭代投影或核重塑的情况下，实现一种直接、表达性强且可扩展的正交卷积参数化？
• RQ2 傅里叶域Cayley变换是否能在32位浮点数算术下，为大规模卷积实现高精度正交性？
• RQ3 与现有Lipschitz约束和正交卷积方法相比，该层是否能提升ℓ₂-范数有界攻击下的认证鲁棒性？
• RQ4 基于Cayley的正交卷积在不同网络深度和宽度下的性能如何扩展？
• RQ5 该层在不使用批量归一化或残差连接的情况下，是否能保持梯度范数保持和训练稳定性？

主要发现

• 所提出的基于Cayley的正交卷积在32位浮点数算术下，即使在大卷积核和高通道数下，也能保持高精度的正交性。
• 该方法在ℓ₂-有界对抗攻击的认证鲁棒准确率方面，优于现有的确定性认证防御方法。
• 该层在比以往文献中探索过的更大规模架构上实现了最先进的认证鲁棒性。
• 采用Cayley层的网络在无需对抗训练的情况下即表现出强大的鲁棒性，表明正交性本身提供了内在稳定性。
• 该方法能有效扩展至更深更宽的网络，与BCOP及基于谱归一化的方法相比表现出更优性能。
• 实证结果证实，该层能保持梯度范数并稳定激活，支持其作为批量归一化的替代方案。