[论文解读] Risk and parameter convergence of logistic regression

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|Mar 20, 2018

Sparse and Compressive Sensing Techniques参考文献 16被引用 79

一句话总结

论文表征逻辑回归/指数损失的梯度下降轨迹，表明它们收敛到由一个最大间隔预测器和一个有界偏移定义的唯一射线，并且给出风险和参数的显式收敛速度。

ABSTRACT

Gradient descent, when applied to the task of logistic regression, outputs iterates which are biased to follow a unique ray defined by the data. The direction of this ray is the maximum margin predictor of a maximal linearly separable subset of the data; the gradient descent iterates converge to this ray in direction at the rate $\mathcal{O}(\ln\ln t / \ln t)$. The ray does not pass through the origin in general, and its offset is the bounded global optimum of the risk over the remaining data; gradient descent recovers this offset at a rate $\mathcal{O}((\ln t)^2 / \sqrt{t})$.

研究动机与目标

• 在一般数据下（包括非强凸和不可分情况），表征逻辑回归的梯度下降路径。
• 识别GD迭代收敛的射线，它由一个最大间隔方向和补充子空间上的有界偏移组成。
• 给出风险和参数收敛的显式收敛速度（包括隐式偏置和隐式正则化）。
• 区分数据的线性可分部分与强凸部分的行为。
• 建立一个分解框架，将数据的可分与强凸分量分离，并分析它们对收敛的贡献。

提出的方法

• 使用贪心构造将数据矩阵A分解为子空间S和S⊥，从而分离出具有最大边界预测器ū的最大线性可分子集Z。
• 证明在S⊥上梯度下降迭代wj的方向收敛到ū，且在S上的投影收敛到S上的唯一向量v̄；形式化为射线{v̄ + r ū : r ≥ 0}。
• 利用改进的光滑性论证和比较点z = v̄ + (ln t)/γ · ū建立风险收敛界，得到R(wt) − infw R(w) = O(1/t) 或 O((ln t)^2 / Σ ηj)，取决于步长大小。
• 使用Fenchel-Young/对偶框架，取g(Aw) = ln(L(Aw))或相关的凸替代，来界定方向分量并推导隐式偏置和正则化结果。
• 通过利用S上的强凸性并分析ln R而非R以捕捉局部光滑性（极端平缓）来分别证明参数在S上收敛到v̄，在S⊥上收敛到ū。
• 通过小心的投影和界限处理A_c（可分）与A_S（强凸）之间的跨项，包括受到感知机启发的关于||w_t||增长界限的论证。

实验结果

研究问题

• RQ1 在一般数据下，控制逻辑回归梯度下降路径的隐式几何结构是什么？
• RQ2 GD迭代如何分解为强凸子空间中的稳定偏移和可分子空间中沿最大间隔分隔器的方向？
• RQ3 经验风险和参数向量的收敛速度是多少，包括隐式偏置和正则化效应？
• RQ4 数据分区为可分和强凸分量如何影响收敛射线的存在性与表征？
• RQ5 在不同步长规模下，是否可以界定迭代的增长并同时量化风险和方向的收敛？

主要发现

• 梯度下降偏向遵循唯一射线{v̄ + r ū : r ≥ 0}，其中ū是线性可分子集的最大间隔预测器，v̄是在剩余数据上的最优解。
• 若ηj选择得当，经验风险的收敛速度取决于步长为O(1/t)或O((ln t)^2 / √t)，与v̄和γ（可分边距）相关的精确界。
• 方向wj/|wj|在S⊥上收敛到ū，而在S上的投影ΠS wj收敛到v̄，确立沿梯度路径的隐式偏置和隐式正则化。
• 数据分解为S和S⊥是唯一的，S捕捉强凸行为，S⊥捕捉线性可分行为；跨数据投影决定收敛速率与渐近行为。
• LG/EXP损失分析呈现相似的定性收敛，具有明确的常数并依赖于γ、|v̄|和ln t因素。
• 收敛结果在可分和一般（混合）数据设定下均成立，包括A_c非空的情况以及A_S在有界集合上为强凸的情况。