[论文解读] Penalty Method for Inversion-Free Deep Bilevel Optimization

Akshay Mehra, Jihun Hamm|arXiv (Cornell University)|Nov 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用 22

一句话总结

该论文提出了一种基于惩罚函数的双层优化方法，避免了海森矩阵求逆，从而实现了大规模深度学习应用的高效性。通过使用惩罚函数重述双层问题，该方法在无需显式求逆的情况下实现收敛，相较于自动微分和近似求逆方法，在超参数调优、数据去噪、少样本学习和数据中毒任务中表现更优。

ABSTRACT

Solving a bilevel optimization problem is at the core of several machine learning problems such as hyperparameter tuning, data denoising, meta- and few-shot learning, and training-data poisoning. Different from simultaneous or multi-objective optimization, the steepest descent direction for minimizing the upper-level cost in a bilevel problem requires the inverse of the Hessian of the lower-level cost. In this work, we propose a novel algorithm for solving bilevel optimization problems based on the classical penalty function approach. Our method avoids computing the Hessian inverse and can handle constrained bilevel problems easily. We prove the convergence of the method under mild conditions and show that the exact hypergradient is obtained asymptotically. Our method's simplicity and small space and time complexities enable us to effectively solve large-scale bilevel problems involving deep neural networks. We present results on data denoising, few-shot learning, and training-data poisoning problems in a large-scale setting. Our results show that our approach outperforms or is comparable to previously proposed methods based on automatic differentiation and approximate inversion in terms of accuracy, run-time, and convergence speed.

研究动机与目标

• 解决因超梯度估计中海森矩阵求逆导致的双层优化计算瓶颈。
• 开发一种可扩展的、无需求逆的约束型双层问题求解方法，适用于深度学习。
• 在元学习、数据去噪和对抗攻击任务中，实现深度神经网络的有效大规模训练。
• 与现有的自动微分和近似求逆技术相比，实现最小的内存和时间开销下的收敛。

提出的方法

• 采用经典的惩罚函数方法重新表述双层问题，避免显式计算海森矩阵逆。
• 提出一种原始-对偶算法，通过交替最小化增广拉格朗日函数求解惩罚问题。
• 采用自适应惩罚参数（σ, ρ, γ, ε, λ, ν），通过迭代更新确保收敛性。
• 通过高精度求解惩罚后的下层问题，渐近地推导出精确的超梯度。
• 通过松弛变量和惩罚项自然地处理等式与不等式约束。
• 通过在标准训练流程中集成该方法，仅需极少的架构修改，即可将其应用于深度神经网络。

实验结果

研究问题

• RQ1 基于惩罚函数的方法能否在深度学习的双层优化中完全消除海森矩阵求逆的需求？
• RQ2 与自动微分和近似求逆基线方法相比，该方法在收敛速度和精度方面表现如何？
• RQ3 该方法在少样本学习和数据中毒任务中，能否有效扩展到大规模深度神经网络？
• RQ4 在较弱假设下，惩罚公式是否仍能保持收敛性保证？
• RQ5 在具有扰动边界约束的数据中毒等约束型双层问题中，该方法表现如何？

主要发现

• 所提出的惩罚方法在无需计算海森矩阵逆的情况下实现收敛，从而实现高效的超梯度计算。
• 在 Omniglot 和 Mini-ImageNet 上的少样本学习中，该方法分别取得了 95.2% 和 65.8% 的测试准确率，与或优于现有方法。
• 在数据去噪任务中，该方法能有效识别并提升干净样本的权重，从而在污染数据集上提升泛化性能。
• 在干净标签数据中毒攻击中，该方法能以极小的扰动（ε=1–2）成功生成对抗样本，在攻击成功率和鲁棒性方面优于基线方法。
• 该方法在运行时间和收敛速度方面表现更优，与自动微分基线相比，训练时间最多减少 40%。
• 该算法在多种深度学习任务中保持了稳定性和可扩展性，包括具有复杂约束和高维参数的任务。