[论文解读] Representation Learning and Recovery in the ReLU Model

Arya Mazumdar, Ankit Singh Rawat|arXiv (Cornell University)|Mar 12, 2018

Machine Learning and Algorithms参考文献 15被引用 3

一句话总结

本文研究了在带有随机偏置的单层ReLU神经网络模型中表示学习与鲁棒信号恢复问题。证明了权重矩阵的列空间可在O(d)的Frobenius范数误差内被恢复，且在高斯设计下，广义LASSO算法在存在稀疏异常值和密集噪声时，实现ℓ₂恢复误差为O(√((k+s)log d)/d)。

ABSTRACT

Rectified linear units, or ReLUs, have become the preferred activation function for artificial neural networks. In this paper we consider two basic learning problems assuming that the underlying data follow a generative model based on a ReLU-network -- a neural network with ReLU activations. As a primarily theoretical study, we limit ourselves to a single-layer network. The first problem we study corresponds to dictionary-learning in the presence of nonlinearity (modeled by the ReLU functions). Given a set of observation vectors $\mathbf{y}^i \in \mathbb{R}^d, i =1, 2, \dots , n$, we aim to recover $d imes k$ matrix $A$ and the latent vectors $\{\mathbf{c}^i\} \subset \mathbb{R}^k$ under the model $\mathbf{y}^i = \mathrm{ReLU}(A\mathbf{c}^i +\mathbf{b})$, where $\mathbf{b}\in \mathbb{R}^d$ is a random bias. We show that it is possible to recover the column space of $A$ within an error of $O(d)$ (in Frobenius norm) under certain conditions on the probability distribution of $\mathbf{b}$. The second problem we consider is that of robust recovery of the signal in the presence of outliers, i.e., large but sparse noise. In this setting we are interested in recovering the latent vector $\mathbf{c}$ from its noisy nonlinear sketches of the form $\mathbf{v} = \mathrm{ReLU}(A\mathbf{c}) + \mathbf{e}+\mathbf{w}$, where $\mathbf{e} \in \mathbb{R}^d$ denotes the outliers with sparsity $s$ and $\mathbf{w} \in \mathbb{R}^d$ denote the dense but small noise. This line of work has recently been studied (Soltanolkotabi, 2017) without the presence of outliers. For this problem, we show that a generalized LASSO algorithm is able to recover the signal $\mathbf{c} \in \mathbb{R}^k$ within an $\ell_2$ error of $O(\sqrt{\frac{(k+s)\log d}{d}})$ when $A$ is a random Gaussian matrix.

研究动机与目标

• 为解决ReLU非线性存在下的字典学习问题，其中观测值满足y^i = ReLU(A c^i + b)，且偏置b为随机的。
• 研究从受稀疏异常值e和密集噪声w污染的非线性草图中恢复潜在向量c的问题，即v = ReLU(A c) + e + w。
• 在单层网络的生成ReLU模型下，为表示恢复与信号恢复建立理论保证。
• 扩展对基于ReLU的生成模型的理论理解，特别是在关联记忆与非线性草图化背景下的应用。
• 分析非线性（ReLU）、随机偏置与噪声在学习与恢复任务中的相互作用，重点关注高维渐近情形。

提出的方法

• 采用生成模型，其中观测值是通过带随机偏置b的ReLU激活线性变换对潜在向量进行非线性草图化得到的。
• 应用广义LASSO公式从受污染的观测值v = ReLU(A c) + e + w中恢复潜在向量c，其中异常值e具有稀疏性s。
• 采用对偶证书方法与限制强凸性来界定LASSO解的估计误差。
• 利用集中不等式推导误差的概率界，假设A为i.i.d.高斯矩阵。
• 引入一个限制集合R以刻画可行解空间，并利用引理3对二次型‖A h + f‖²₂进行下界估计。
• 结合对偶范数与噪声项的界，推导出c恢复的最终ℓ₂误差界。

实验结果

研究问题

• RQ1 当偏置b为随机时，能否从非线性草图y^i = ReLU(A c^i + b)中恢复权重矩阵A的列空间？
• RQ2 当观测值受稀疏异常值与密集噪声污染时，潜在向量c的鲁棒恢复的根本极限是什么？
• RQ3 ReLU引入的非线性在高维设置下如何影响恢复性能？
• RQ4 广义LASSO方法能否在ReLU基草图中同时存在稀疏与密集噪声时实现一致恢复？
• RQ5 偏置分布与设计矩阵A需满足何种条件，才能确保表示学习与信号恢复的稳定与准确？

主要发现

• 在偏置分布满足弱条件时，权重矩阵A的列空间可在O(d)的Frobenius范数误差内被恢复。
• 在鲁棒恢复中，广义LASSO算法在A为随机高斯矩阵时，实现ℓ₂误差界为O(√((k + s) log d)/d)。
• 误差界随√(k log k / d)（由非线性引入的噪声）与√(s log d / d)（稀疏异常值）而变化，反映出潜在维度与稀疏性之间的权衡。
• 当测量数d相对于k与s足够大时，恢复误差在高维渐近下保持稳定，且以高概率成立。
• 分析表明，对偶证书方法可适配至具有ReLU激活的非线性模型，从而为非凸草图提供理论保证。
• 当噪声‖w‖∞ ≤ δ且A为i.i.d.高斯矩阵时，该界以高概率成立，确保对有界密集噪声的鲁棒性。