[论文解读] Multitask Learning Strengthens Adversarial Robustness
本文提出，多任务学习通过增加输出维度，可内在地提升深度神经网络的对抗鲁棒性，从而使针对单个任务的对抗扰动相互抵消。在Cityscapes和Taskonomy数据集上的实验表明，多任务模型在对抗攻击下mIoU指标的鲁棒性最高可提升7个百分点，同时保持或提升干净准确率，并与对抗训练方法互补。
Although deep networks achieve strong accuracy on a range of computer vision benchmarks, they remain vulnerable to adversarial attacks, where imperceptible input perturbations fool the network. We present both theoretical and empirical analyses that connect the adversarial robustness of a model to the number of tasks that it is trained on. Experiments on two datasets show that attack difficulty increases as the number of target tasks increase. Moreover, our results suggest that when models are trained on multiple tasks at once, they become more robust to adversarial attacks on individual tasks. While adversarial defense remains an open challenge, our results suggest that deep networks are vulnerable partly because they are trained on too few tasks.
研究动机与目标
- 探究多任务学习是否能提升深度神经网络的对抗鲁棒性。
- 理解多任务训练通过何种理论机制增强对对抗攻击的抵抗能力。
- 在真实世界数据集上，对单任务和多任务攻击下的多任务模型鲁棒性进行实证评估。
- 评估多任务学习是否能与现有防御方法（如对抗训练）互补。
- 证明当前模型的脆弱性部分源于训练任务过少。
提出的方法
- 理论分析利用一阶脆弱性边界，表明通过多任务学习增加输出维度可提升鲁棒性，使针对不同任务的对抗扰动在任务间相互抵消。
- 实证评估使用两个数据集——Cityscapes和Taskonomy，涵盖最多11项视觉任务，训练了110个多任务模型（11个主任务 × 10个辅助任务）。
- 模型在PGD攻击下进行评估，$L_∞ = 4$，共50步，同时测量干净性能和对抗性能。
- 消融研究将单任务基线与多任务模型进行比较，以语义分割的mIoU和深度估计的绝对误差作为指标。
- 将对抗训练与多任务学习结合，以测试鲁棒性增益的互补性。
- 为每个任务调整超参数$\lambda_a$（取值为0.1或0.01），以平衡主任务与辅助任务的损失。
实验结果
研究问题
- RQ1与单任务学习相比，多任务学习是否能提升对抗鲁棒性？
- RQ2通过多任务学习增加输出维度，如何影响对抗攻击的成功率？
- RQ3多任务学习是否能与对抗训练互补，以同时提升干净性能和鲁棒性能？
- RQ4鲁棒性提升是否源于多个任务间扰动的相互抵消？
- RQ5即使仅主任务受到攻击，多任务学习是否仍能提升鲁棒性？
主要发现
- 当全部11项任务均受攻击时，多任务学习使语义分割的mIoU鲁棒性最高提升7个百分点，其他任务的误差最高降低60%，相比单任务基线。
- 当仅主任务受攻击时，多任务学习使语义分割mIoU最高提升6个百分点，辅助任务的误差最高降低23%。
- 在Taskonomy数据集上，多任务学习在110次实验中有90次提升了对抗性能，PGD攻击下平均相对提升达10.23%。
- 在Cityscapes上，多任务学习使对抗训练模型在$L_\infty = 4$攻击下，语义分割的mIoU提升2.40个百分点，深度估计性能提升8.4个百分点。
- 在110次实验中，多任务学习在70次中保持或提升了干净性能，同时在90次中显著增强了鲁棒性。
- 该方法与对抗训练具有互补性，能同时提升最先进模型的干净准确率和鲁棒准确率。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。