[论文解读] When Deep Learning Meets Polyhedral Theory: A Survey

Joey Huchette, Gonzalo Muñoz+2 more|arXiv (Cornell University)|Apr 29, 2023

Neural Networks and Applications被引用 13

一句话总结

一项将深度神经网络与多面体理论联系起来的综述，聚焦于基于 ReLU 的前馈网络，以及线性优化工具（LP/MILP）如何训练、验证和压缩此类模型。它讨论分段线性表示、线性区域和多面体表述来分析和改进神经网络。

ABSTRACT

In the past decade, deep learning became the prevalent methodology for predictive modeling thanks to the remarkable accuracy of deep neural networks in tasks such as computer vision and natural language processing. Meanwhile, the structure of neural networks converged back to simpler representations based on piecewise constant and piecewise linear functions such as the Rectified Linear Unit (ReLU), which became the most commonly used type of activation function in neural networks. That made certain types of network structure $\unicode{x2014}$such as the typical fully-connected feedforward neural network$\unicode{x2014}$ amenable to analysis through polyhedral theory and to the application of methodologies such as Linear Programming (LP) and Mixed-Integer Linear Programming (MILP) for a variety of purposes. In this paper, we survey the main topics emerging from this fast-paced area of work, which bring a fresh perspective to understanding neural networks in more detail as well as to applying linear optimization techniques to train, verify, and reduce the size of such networks.

研究动机与目标

• 对深度学习提出多面体视角并解释为何分段线性激活能实现基于优化的分析。
• 综述 LP、MILP 与判别编程如何对神经网络建模、验证与改进。
• 探讨线性区域的几何如何影响网络的表达能力与设计选择。
• 讨论训练阶段的优化技术及在神经网络中整合线性结构的方法。
• 强调与多面体分析相关的变体与扩展（CNN、ResNet、softmax）及其潜在应用。

提出的方法

• 将前馈 ReLU 网络描述为具有分段仿射区域的分段线性函数。
• 通过激活单元集在各层的组合，定义线性区域及其签名。
• 在一个区域内导出仿射变换 y_I(x)=T x + t，其中 T 与 t 由激活集确定。
• 讨论 Fourier–Motzkin 消除法如何将区域描述投影到输入空间，得到多面体区域。
• 解释用于验证网络和在训练后网络上优化的 MILP 形式化。
• 回顾利用多面体几何和潜在的提升-投影加强的训练时方法。

实验结果

研究问题

• RQ1 在给定架构下，神经网络可以表示哪些分段线性函数？
• RQ2 网络可以产生多少线性区域，深度/宽度如何影响数量？
• RQ3 多面体表述是否能够实现鲁棒验证、与决策问题的集成以及网络压缩？
• RQ4 通过利用多面体几何或对权重施加线性约束，训练是否可以得到改进？
• RQ5 网络变体（CNN、ResNet、softmax 输出）如何适应到多面体框架？

主要发现

• 一个整流网络将输入空间划分为线性区域，在这些区域内网络表现为仿射映射。
• 线性区域数量可随深度（以及宽度）指数增长，表明其具备高表示容量。
• 每个线性区域对应扩展空间中的一个多面体区域，将其投影到输入空间得到可用消元方法描述的多面体区域。
• MILP 形式化可以对训练好的网络进行验证、约束输出或将网络嵌入到更大优化问题中。
• 判离编程与提升-投影技术为网络提供更强的 MILP 表述，从而实现更可扩展的优化。
• 在训练阶段利用多面体结构和混合整数方法的方法，为替代或补充 SGD 提供了选项，尤其在需要权重约束或精确表示时。