[论文解读] OptNet: Differentiable Optimization as a Layer in Neural Networks

Brandon Amos, J. Zico Kolter|arXiv (Cornell University)|Mar 1, 2017

Advanced Optimization Algorithms Research参考文献 23被引用 137

一句话总结

OptNet 在神经网络中插入可微分的二次规划层，使端到端训练具备约束优化能力，并能有效地批量化GPU求解器。

ABSTRACT

This paper presents OptNet, a network architecture that integrates optimization problems (here, specifically in the form of quadratic programs) as individual layers in larger end-to-end trainable deep networks. These layers encode constraints and complex dependencies between the hidden states that traditional convolutional and fully-connected layers often cannot capture. We explore the foundations for such an architecture: we show how techniques from sensitivity analysis, bilevel optimization, and implicit differentiation can be used to exactly differentiate through these layers and with respect to layer parameters; we develop a highly efficient solver for these layers that exploits fast GPU-based batch solves within a primal-dual interior point method, and which provides backpropagation gradients with virtually no additional cost on top of the solve; and we highlight the application of these approaches in several problems. In one notable example, the method is learns to play mini-Sudoku (4x4) given just input and output games, with no a-priori information about the rules of the game; this highlights the ability of OptNet to learn hard constraints better than other neural architectures.

研究动机与目标

• 将严格的约束优化作为一个可微分层集成到神经网络中，以捕捉超出标准层的复杂依赖关系。
• 开发通过 KKT 灵敏度分析的可微分梯度计算，以实现对优化层的反向传播。
• 提供一个快速的、批量的 GPU 求解器，用于小型 QP，并展示这些层的端到端学习。
• 展示 OptNet 在需要硬约束的任务中的表示能力和实际收益。

提出的方法

• 将 OptNet 层表述为参数依赖于前一层的可微分二次规划。
• 利用矩阵微积分对 KKT 条件进行微分，以获得反向传播规则。
• 开发一个针对密集 QP 的批量原-对偶内点法，在 GPU 上实现并与 PyTorch 集成。
• 提供一个反向传播机制，重复利用 KKT 因子分解以最小化额外成本来计算梯度。
• 通过将 OptNet 应用到诸如迷你数独和信号去噪等任务来展示端到端学习。

实验结果

研究问题

• RQ1 是否可以将约束优化集成为神经网络中的一个可微层？
• RQ2 如何对具有等式与不等式约束的二次规划解进行微分？
• RQ3 用于 OptNet 层的批量 GPU QP 求解器在性能与可扩展性方面有哪些收益？
• RQ4 与传统网络相比，OptNet 层在需要硬约束的任务中能在多大程度上提升学习效果？

主要发现

方法	训练 MSE	测试 MSE
FC Net	18.5	29.8
Pure OptNet	52.9	53.3
Total Variation	16.3	16.5
OptNet Tuned TV	13.8	14.4

• OptNet 通过对带有约束的 QP 层进行基于 KKT 的梯度微分，实现端到端学习。
• 在批量大小为 128 的实验中，GPU 原-对偶内点求解器在求解 QP 方面比 Gurobi/CPLEX 快 100x。
• QP OptNet 层可以表示任意分段线性函数，并且能够捕捉标准层难以处理的约束。
• 在去噪实验中，配合调优的总变差约束，OptNet 相比仅 TV 或纯 FC 网络能提升测试均方误差（MSE）。
• 在数独实验中，OptNet 学会必要的硬约束，并在未见过的谜题上比纯神经基线具有更好的泛化能力。