[论文解读] On implicit regularization: Morse functions and applications to matrix factorization

Mohamed-Ali Belabbas|arXiv (Cornell University)|Jan 13, 2020

Sparse and Compressive Sensing Techniques参考文献 9被引用 8

一句话总结

本文提出了一种基于Morse理论和动力系统的新框架，用于矩阵分解中的隐式正则化，证明当约束矩阵之和的谱间隙较大时，梯度流会收敛到低秩解。该文在“驯服谱”（tame spectrum）条件下证明了[4]中的猜想，表明隐式正则化近似于核范数最小化，且在该条件之外性能仅缓慢下降。

ABSTRACT

In this paper, we revisit implicit regularization from the ground up using notions from dynamical systems and invariant subspaces of Morse functions. The key contributions are a new criterion for implicit regularization---a leading contender to explain the generalization power of deep models such as neural networks---and a general blueprint to study it. We apply these techniques to settle a conjecture on implicit regularization in matrix factorization.

研究动机与目标

• 开发一个通用的理论框架，利用动力系统和Morse理论理解深度学习中的隐式正则化。
• 解决[4]中提出的关于矩阵分解隐式正则化的猜想，即梯度流收敛于最小化核范数的解。
• 确定隐式正则化近似显式核范数正则化的条件，特别关注约束矩阵的谱性质。
• 量化谱间隙在决定隐式正则化成败中的作用。

提出的方法

• 将原始优化问题表述为一个梯度流ODE，其中解轨迹在衡量数据拟合度的代价函数J(X)下演化。
• 引入一个基于核范数的辅助正则化问题，旨在识别梯度流解与该正则化问题最小值重合的条件。
• 利用Morse理论分析代价函数的临界点和稳定流形，识别出梯度流收敛到唯一低秩解的条件。
• 分析引入了“驯服谱”（tame spectrum）区域，其定义为∑A_i具有较大谱间隙，是隐式正则化成立的关键条件。
• 定义了相对误差和谱比（λ₁ / ∑λᵢ）等性能度量，以定量评估向低秩解的收敛性。
• 通过随机矩阵A_i和不同谱间隙及特征值方差的数值实验，测试隐式正则化的鲁棒性。

实验结果

研究问题

• RQ1 在何种条件下，矩阵分解中的梯度流如[4]所猜想的那样，隐式正则化为低秩解？
• RQ2 ∑A_i的谱间隙如何影响梯度流向核范数最小化解的收敛性？
• RQ3 当∑A_i的特征值接近时（违反“驯服谱”假设），隐式正则化在多大程度上会失效？
• RQ4 当驯服谱条件被违反时，初始条件大小δ → 0的极限是否仍能产生隐式正则化？
• RQ5 最终解的奇异值如何与隐式正则化的性能相关？

主要发现

• 在“驯服谱”区域中，[4]中的猜想被证明成立，即当∑A_i的谱间隙足够大时成立。
• 随着谱间隙增大，解的相对误差迅速减小，谱比（λ₁ / ∑λᵢ）趋近于1，表明收敛到秩一解。
• 当∑A_i的较低特征值几乎相等时（例如λ₂, λ₃, λ₄ ∈ [1, 1+γ]），随着γ增大，性能仅轻微下降，表明对小特征值方差具有鲁棒性。
• 在违反驯服谱假设的情况下（例如特征值{1,1,2,2}），当δ → 0时相对误差不趋于零，表明隐式正则化失败。
• 数值模拟证实，隐式正则化与谱比高度相关，验证了理论框架的有效性。