[论文解读] Robust Mixture-of-Expert Training for Convolutional Neural Networks

Yihua Zhang, Ruisi Cai+7 more|arXiv (Cornell University)|Aug 19, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文提出 AdvMoE，一种用于混合专家卷积神经网络（MoE-CNNs）的新型对抗性训练框架，通过交替优化路由网络与专家网络以提升对抗鲁棒性。与在 MoE-CNNs 上失效的标准对抗性训练不同，AdvMoE 在将推理成本降低 50% 以上的同时，实现了比标准密集型 CNN 更高 1%–4% 的鲁棒准确率。

ABSTRACT

Sparsely-gated Mixture of Expert (MoE), an emerging deep model architecture, has demonstrated a great promise to enable high-accuracy and ultra-efficient model inference. Despite the growing popularity of MoE, little work investigated its potential to advance convolutional neural networks (CNNs), especially in the plane of adversarial robustness. Since the lack of robustness has become one of the main hurdles for CNNs, in this paper we ask: How to adversarially robustify a CNN-based MoE model? Can we robustly train it like an ordinary CNN model? Our pilot study shows that the conventional adversarial training (AT) mechanism (developed for vanilla CNNs) no longer remains effective to robustify an MoE-CNN. To better understand this phenomenon, we dissect the robustness of an MoE-CNN into two dimensions: Robustness of routers (i.e., gating functions to select data-specific experts) and robustness of experts (i.e., the router-guided pathways defined by the subnetworks of the backbone CNN). Our analyses show that routers and experts are hard to adapt to each other in the vanilla AT. Thus, we propose a new router-expert alternating Adversarial training framework for MoE, termed AdvMoE. The effectiveness of our proposal is justified across 4 commonly-used CNN model architectures over 4 benchmark datasets. We find that AdvMoE achieves 1% ~ 4% adversarial robustness improvement over the original dense CNN, and enjoys the efficiency merit of sparsity-gated MoE, leading to more than 50% inference cost reduction. Codes are available at https://github.com/OPTML-Group/Robust-MoE-CNN.

研究动机与目标

• 为解决日益用于高效推理的混合专家卷积神经网络（MoE-CNNs）在对抗攻击下缺乏鲁棒性的问题。
• 探究为何传统对抗性训练（AT）在标准 CNN 中表现良好，却在 MoE-CNNs 上失效。
• 设计一种新型训练范式，使 MoE-CNNs 实现有效的对抗鲁棒性，同时不牺牲稀疏专家路由带来的效率优势。
• 通过将鲁棒性分解为路由鲁棒性与专家鲁棒性，建立对 MoE-CNNs 中鲁棒性的新理解。

提出的方法

• 提出一种路由-专家交替对抗性训练框架（AdvMoE），通过双层优化联合提升路由网络与专家路径的鲁棒性。
• 将 MoE 的鲁棒性分解为两个独立维度：门控函数（路由）的鲁棒性与专家子网络（路径）的鲁棒性，以实现针对性优化。
• 在训练中交替更新路由网络（使用对抗样本）与专家网络（使用其对应的对抗梯度），确保协同学习。
• 采用一种促进稀疏性的路由机制，使得每个输入仅激活一小部分专家，从而保持 MoE 推理的高效性。
• 在训练过程中使用基于 PGD 的对抗攻击，通过调整步长与迭代次数以平衡鲁棒性与收敛性。
• 在每个训练步骤中采用双后向传播，以实现路由与专家组件在交替优化过程中的梯度流动。

Figure 1: (a) Model types (Dense, MoE-CNN, Sparse-CNN, and S(mall)-Dense) considered in this paper; see details in ‘Model setup’ of Sec. 3 . (b) Performance overview using the standard training and the robust training on model architectures in (a), where standard accuracy and robust accuracy are def

实验结果

研究问题

• RQ1 为何标准对抗性训练在 MoE-CNNs 上无法提升鲁棒性，尽管其在标准 CNN 中表现有效？
• RQ2 MoE-CNNs 中路由网络与专家的鲁棒性如何相互作用？能否通过联合优化实现更优防御？
• RQ3 能否设计一种新型对抗性训练框架，有效提升 MoE-CNNs 的鲁棒性，同时不损害推理效率？
• RQ4 专家数量与模型缩放对 MoE-CNNs 中对抗性训练效果有何影响？

主要发现

• 传统对抗性训练（AT）在 MoE-CNNs 上失效，因为路由网络与专家无法在标准 AT 下相互适应。
• AdvMoE 在鲁棒准确率上比使用传统 AT 训练的标准密集型 CNN 高出 1%–4%，展现出更优的鲁棒性。
• AdvMoE 通过利用稀疏专家路由，使推理成本相比密集模型降低 50% 以上，同时保持高水平鲁棒性。
• 该方法在四种 CNN 架构与四个基准数据集（包括 CIFAR-10、CIFAR-100、SVHN 和 Tiny ImageNet）上均表现有效。
• AdvMoE 的最优配置为使用 2 个专家与模型缩放系数 r=0.5，实现了鲁棒性与效率的平衡。
• AdvMoE 在 MoE-ViT 模型上也提升了鲁棒性，在 ImageNet 上相比 SOTA 基线实现超过 1% 的鲁棒准确率提升（使用 DeiT-Tiny 模型）。

Figure 2: Performance of MoE-CNN and S-Dense robustly trained using ( AT ) on CIFAR-10 with ResNet-18 as the backbone.