[论文解读] On Infinite-Width Hypernetworks

Etai Littwin, Tomer Galanti+2 more|arXiv (Cornell University)|Mar 27, 2020

Computational Geometry and Mesh Generation参考文献 42被引用 7

一句话总结

本文研究了无限宽度超网络的泛化与优化动态，表明标准的宽超网络由于非凸性，在梯度下降下不会收敛到全局最小值。然而，当超网络和主网络均为无限宽时，训练动态简化，并由一个明确定义的无限宽度极限核——超核——所支配，从而实现基于核的分析，并在数据有限的功能表征任务中实现性能提升。

ABSTRACT

{\em Hypernetworks} are architectures that produce the weights of a task-specific {\em primary network}. A notable application of hypernetworks in the recent literature involves learning to output functional representations. In these scenarios, the hypernetwork learns a representation corresponding to the weights of a shallow MLP, which typically encodes shape or image information. While such representations have seen considerable success in practice, they remain lacking in the theoretical guarantees in the wide regime of the standard architectures. In this work, we study wide over-parameterized hypernetworks. We show that unlike typical architectures, infinitely wide hypernetworks do not guarantee convergence to a global minima under gradient descent. We further show that convexity can be achieved by increasing the dimensionality of the hypernetwork's output, to represent wide MLPs. In the dually infinite-width regime, we identify the functional priors of these architectures by deriving their corresponding GP and NTK kernels, the latter of which we refer to as the {\em hyperkernel}. As part of this study, we make a mathematical contribution by deriving tight bounds on high order Taylor expansion terms of standard fully connected ReLU networks.

研究动机与目标

• 理解过参数化超网络在无限宽度极限下的训练动态。
• 识别无限宽超网络实现凸优化行为的条件。
• 在双重无限宽度极限下推导超网络的功能先验，其特征为一种新核——超核。
• 为功能表征学习中的超网络提供理论保证，尤其是在数据稀缺的情况下。
• 建立ReLU多层感知机中高阶泰勒展开项的紧渐近界，解决关于相关函数的一个猜想。

提出的方法

• 通过将网络分解为超网络 f 和主网络 g，分析超网络的梯度下降动态。
• 对网络输出在初始化点附近进行高阶泰勒展开，重点关注一阶及更高阶项。
• 推导出超网络的神经正切核（NTK），在双重无限宽度极限下引入‘超核’作为 NTK。
• 利用随机矩阵理论和渐近分析，证明随着宽度增加，高阶项趋于消失。
• 在ReLU网络中建立高阶泰勒项的紧 O(1/m) 估计，扩展了先前结果。
• 在功能表征任务上通过实证验证理论发现，比较基于核的方法与训练超网络的性能。

实验结果

研究问题

• RQ1 超网络的无限宽度极限是否在梯度下降下导致凸优化动态？
• RQ2 在双重无限宽度条件下，是否可以表征超网络的功能先验？
• RQ3 超网络的神经正切核（NTK）的结构与行为是什么？它与标准 NTK 有何不同？
• RQ4 在宽的 ReLU 多层感知机中，高阶泰勒展开项的行为如何？能否实现紧密的有界性？
• RQ5 在训练数据有限时，所推导的超核是否优于训练得到的超网络？

主要发现

• 由于优化景观中固有的非凸性，无限宽超网络在梯度下降下不能保证收敛到全局最小值。
• 当超网络和主网络均为无限宽时，凸性得以恢复，训练动态稳定，由超核支配。
• 超核作为超网络 NTK 的无限宽度极限，提供了一种功能先验，使基于核的训练成为可能。
• 实证结果表明，在数据稀缺的功能表征任务中，基于超核的方法优于标准训练的超网络。
• 在ReLU多层感知机中，建立了高阶泰勒展开项的紧渐近界 O(1/m)，支持理论框架，并部分解决了关于相关函数的猜想。