[论文解读] The Second Order Linear Model

Ming Lin, Shuang Qiu+2 more|arXiv (Cornell University)|Mar 2, 2017

Stochastic Gradient Optimization Techniques参考文献 13被引用 3

一句话总结

本文提出了一种无梯度、非凸的交替算法——矩估计序列（MES）方法，用于学习二阶线性模型（SLM），采样复杂度为$O(k^2d)$。该方法通过消除偏态子高斯分布带来的梯度偏差，实现了全局线性收敛，在非MIP分布下，其收敛速度和鲁棒性均优于传统梯度下降法。

ABSTRACT

We study a fundamental class of regression models called the second order linear model (SLM). The SLM extends the linear model to high order functional space and has attracted considerable research interest recently. Yet how to efficiently learn the SLM under full generality using nonconvex solver still remains an open question due to several fundamental limitations of the conventional gradient descent learning framework. In this study, we try to attack this problem from a gradient-free approach which we call the moment-estimation-sequence (MES) method. We show that the conventional gradient descent heuristic is biased by the skewness of the distribution therefore is no longer the best practice of learning the SLM. Based on the MES framework, we design a nonconvex alternating iteration process to train a $d$-dimension rank-$k$ SLM within $O(kd)$ memory and one-pass of the dataset. The proposed method converges globally and linearly, achieves $ε$ recovery error after retrieving $O[k^{2}d\cdot\mathrm{polylog}(kd/ε)]$ samples. Furthermore, our theoretical analysis reveals that not all SLMs can be learned on every sub-gaussian distribution. When the instances are sampled from a so-called $τ$-MIP distribution, the SLM can be learned by $O(p/τ^{2})$ samples where $p$ and $τ$ are positive constants depending on the skewness and kurtosis of the distribution. For non-MIP distribution, an addition diagonal-free oracle is necessary and sufficient to guarantee the learnability of the SLM. Numerical simulations verify the sharpness of our bounds on the sampling complexity and the linear convergence rate of our algorithm.

研究动机与目标

• 解决在一般子高斯分布下，二阶线性模型（SLM）高效且可证明的非凸学习这一开放问题。
• 克服梯度下降在偏态分布中的根本性局限，即梯度受高阶矩影响而产生偏差。
• 开发一种内存高效、单次遍历的算法，具有$O(kd)$内存占用和$O(k^2d)$采样复杂度，适用于低秩SLM。
• 建立SLM可学习性的理论条件，区分$\tau$-MIP与非MIP分布。
• 证明在非MIP分布下，无对角线的Oracle是可学习性的必要且充分条件。

提出的方法

• 提出矩估计序列（MES）框架，一种无梯度方法，通过构建一系列矩估计量来避免梯度偏差。
• 设计一种非凸交替迭代过程，以块优化方式更新一阶和二阶系数。
• 采用单次遍历数据流处理策略，保持$O(kd)$内存使用并实现在线学习能力。
• 利用子高斯Hanson-Wright不等式和集中不等式分析矩估计量的收敛性。
• 引入$\tau$-MIP（矩可逆性）条件，以刻画一般子高斯分布下的可学习性。
• 在非MIP分布中引入无对角线Oracle，确保二阶系数矩阵$M^*$的可识别性。

实验结果

研究问题

• RQ1 能否设计一种非凸、无梯度算法，在一般子高斯分布下实现二阶线性模型的全局线性收敛？
• RQ2 为何传统梯度下降在伯努利分布或截断正态分布等偏态子高斯分布下无法有效学习SLM？
• RQ3 恢复一个秩-$k$ SLM所需的最小采样复杂度是多少？其如何依赖于偏度和峰度等分布特性？
• RQ4 在何种分布条件下SLM可识别？何时需要额外的无对角线Oracle？
• RQ5 所提方法是否能在梯度下降启发式方法失效时，仍实现$O(k^2d)$采样复杂度和线性收敛率？

主要发现

• MES方法在$O(k^2d \cdot \mathrm{polylog}(kd/\epsilon))$个样本下可实现全局线性收敛，达到$\epsilon$恢复误差。
• 在截断正态分布和伯努利分布等偏态分布上，该方法收敛速度显著快于梯度下降，尤其在偏度增大时更为明显。
• 在$a=0$的截断正态分布（高偏度）下，梯度下降无法实现全局收敛，而MES保持全局收敛。
• 对于$\tau$-MIP分布，SLM可在$O(p/\tau^2)$个样本内学习，其中$p$依赖于偏度和峰度。
• 在非MIP分布中，无对角线Oracle是保证SLM可识别性和可学习性的必要且充分条件。
• 数值模拟验证了理论采样复杂度边界的紧致性，并证实MES在多种分布下均具有线性收敛速率。