[论文解读] Robust Optimization over Multiple Domains

Qi Qian, Shenghuo Zhu+4 more|arXiv (Cornell University)|May 19, 2018

Adversarial Robustness in Machine Learning参考文献 4被引用 6

一句话总结

本文提出了一种鲁棒优化框架，用于学习单个机器学习模型，使其在多个领域（如手写体和印刷体数字）上均表现良好，通过联合优化模型和领域上的对抗性分布实现。该方法在不依赖Oracle的情况下，实现了非凸模型的收敛速率$\mathcal{O}(1/T^{1/3})$，并通过在对抗性分布上引入正则化，进一步提升了鲁棒性和收敛性。

ABSTRACT

In this work, we study the problem of learning a single model for multiple domains. Unlike the conventional machine learning scenario where each domain can have the corresponding model, multiple domains (i.e., applications/users) may share the same machine learning model due to maintenance loads in cloud computing services. For example, a digit-recognition model should be applicable to hand-written digits, house numbers, car plates, etc. Therefore, an ideal model for cloud computing has to perform well at each applicable domain. To address this new challenge from cloud computing, we develop a framework of robust optimization over multiple domains. In lieu of minimizing the empirical risk, we aim to learn a model optimized to the adversarial distribution over multiple domains. Hence, we propose to learn the model and the adversarial distribution simultaneously with the stochastic algorithm for efficiency. Theoretically, we analyze the convergence rate for convex and non-convex models. To our best knowledge, we first study the convergence rate of learning a robust non-convex model with a practical algorithm. Furthermore, we demonstrate that the robustness of the framework and the convergence rate can be further enhanced by appropriate regularizers over the adversarial distribution. The empirical study on real-world fine-grained visual categorization and digits recognition tasks verifies the effectiveness and efficiency of the proposed framework.

研究动机与目标

• 解决在云计算服务中，于多样化的现实世界领域中维持单一模型的挑战，其中模型在不同领域间的鲁棒性至关重要。
• 克服经验风险最小化（ERM）的局限性，后者可能因数据不平衡或领域分布偏移而在某些领域表现欠佳。
• 开发一种高效且可扩展的算法，学习对最坏情况领域分布具有鲁棒性的模型，且无需在每次迭代中遍历全部数据。
• 对凸与非凸模型进行理论分析，为非凸设置下首个实用算法提供收敛速率保证。
• 通过在对抗性分布上引入正则化，提升模型鲁棒性与收敛速度，防止出现平凡解并改善泛化性能。

提出的方法

• 提出一种鲁棒优化框架，联合学习模型与多领域上的对抗性分布，而非单个样本。
• 使用随机梯度下降（SGD）高效优化模型并更新对抗性分布，避免全批量计算。
• 在对抗性分布上引入正则化（如$L_2$或基于最优传输的正则化），以限制其与先验分布的偏离，提升稳定性与收敛性。
• 核心优化问题旨在最小化跨领域的最坏情况期望损失，训练过程中动态调整对抗性分布以突出表现欠佳的领域。
• 理论分析表明，对于平滑且拟凹的模型，收敛速率为$\mathcal{O}(1/T^{1/3})$；对于强拟凹模型，引入正则化后收敛速率为$\mathcal{O}(\sqrt{\log T / T})$。
• 该框架兼容深度神经网络（如AlexNet），可应用于细粒度视觉分类与数字识别等任务。

实验结果

研究问题

• RQ1 是否可以不为每个领域单独训练模型，而使单个机器学习模型在多个多样化领域（如手写体与印刷体数字）上均保持鲁棒性？
• RQ2 在实际的随机优化算法下，如何为鲁棒的非凸模型提供理论收敛保证？
• RQ3 对领域上的对抗性分布施加正则化，对模型鲁棒性与收敛速度有何影响？
• RQ4 所提出的方法是否能在跨领域的最坏性能上超越标准ERM与现有分布鲁棒优化方法？
• RQ5 该框架在大规模真实世界数据集上能否高效扩展，同时保持鲁棒性？

主要发现

• 所提方法在不依赖子问题求解Oracle的情况下，实现了非凸模型的收敛速率$\mathcal{O}(1/T^{1/3})$，为理论上的新贡献。
• 采用适当的正则化（如$L_2$或OT）后，收敛速率提升至$\mathcal{O}(\sqrt{\log T / T})$，显著加快训练速度。
• 在带有噪声的ImageNet宠物数据集上，Mixture Opt将最坏情况性能差距从97.05%降低至92.14%（改善4.91%），同时保持较高的最佳情况准确率。
• 该方法能有效平衡各领域表现：在$\sigma = 30$高斯噪声的困难任务中，由于自适应分布学习机制，最坏情况性能依然强劲。
• Mixture Opt与Mixture OT的运行速度几乎与Mixture Even（均匀加权）相当，而Mixture Oracle（每次更新需全数据遍历）在小数据集上慢近3倍。
• 在MNIST与SVHN上的实验结果表明，Mixture Opt在最坏情况训练损失上优于ERM与基线方法，且在各领域间表现更一致。