[论文解读] Towards the optimal construction of a loss function without spurious local minima for solving quadratic equations

Zhenzhen Li, Jian‐Feng Cai+1 more|arXiv (Cornell University)|Sep 27, 2018

Advanced X-ray Imaging Techniques参考文献 37被引用 4

一句话总结

该论文提出了一种新颖的损失函数，结合平滑二次损失与一个激活函数，以求解无虚假局部极小值的二次方程组。在高斯测量下，证明了当 $ m \gtrsim n $ 时，以高概率，真实解是唯一的局部极小值（忽略全局相位），且所有鞍点均具有负曲率，从而确保下降算法的全局收敛性。

ABSTRACT

The problem of finding a vector $x$ which obeys a set of quadratic equations $|a_k^ op x|^2=y_k$, $k=1,\cdots,m$, plays an important role in many applications. In this paper we consider the case when both $x$ and $a_k$ are real-valued vectors of length $n$. A new loss function is constructed for this problem, which combines the smooth quadratic loss function with an activation function. Under the Gaussian measurement model, we establish that with high probability the target solution $x$ is the unique local minimizer (up to a global phase factor) of the new loss function provided $m\gtrsim n$. Moreover, the loss function always has a negative directional curvature around its saddle points.

研究动机与目标

• 构建一种用于求解实二次方程 $ |\bm{a}_k^\top\bm{x}|^2 = y_k $ 的损失函数，避免出现虚假局部极小值。
• 在最小采样复杂度下实现该目标，特别是 $ m \gtrsim n $，与信息论下限相匹配。
• 在高斯测量模型下，确保全局极小值即为真实解 $ \bm{x} $（忽略全局相位因子）。
• 建立所有鞍点均具有负方向曲率的性质，从而通过下降法实现向全局极小值的收敛。

提出的方法

• 通过将平滑二次损失与精心选择的激活函数组合，设计一种复合损失函数，以正则化损失函数的几何结构。
• 引入一种依赖于观测值与期望值之比的归一化激活函数 $ h(\cdot) $，以增强其几何特性。
• 利用集中不等式与矩界（通过引理3.6）控制损失函数的海森矩阵与梯度项在真实解与鞍点附近的性质。
• 分析损失函数在临界点处的海森矩阵，证明鞍点处最小特征值为负，从而确保可逃离非全局极小值。
• 借助高斯随机矩阵理论，证明当 $ m \gtrsim n $ 时，以高概率损失函数的几何结构表现良好。
• 利用尾部估计与指数衰减项（如 $ \sqrt{\beta}e^{-0.49\beta} $）建立海森矩阵分量的界，这些项在 $ \beta \to \infty $ 时趋于零。

实验结果

研究问题

• RQ1 能否构造一种非凸损失函数，使得当 $ m \gtrsim n $ 时，真实解是唯一的局部极小值（忽略全局相位）？
• RQ2 在高斯测量模型下，所提出的损失函数是否消除了虚假局部极小值？
• RQ3 损失函数的所有鞍点是否均具有负方向曲率，从而确保下降算法的全局收敛性？
• RQ4 能否通过测度集中与矩界方法，严格分析损失函数的几何特性？

主要发现

• 以高概率，当 $ m \gtrsim n $ 时，真实解 $ \bm{x} $ 是所提损失函数的唯一局部极小值（忽略全局相位）。
• 在高斯测量模型下，当 $ m \gtrsim n $ 时，该损失函数无虚假局部极小值，优于以往需 $ m \gtrsim n\log^3 n $ 的结果。
• 损失函数的所有鞍点均表现出负方向曲率，确保避免鞍点的下降算法可收敛至全局极小值。
• 任何临界点处损失函数的海森矩阵均存在负特征值，该结论通过集中不等式与涉及 $ \sqrt{\beta}e^{-0.49\beta} $ 的矩估计得以证明。
• 分析表明，损失函数的曲率受良好控制，海森矩阵分量的界随 $ \beta $（信噪比的代理变量）呈指数衰减。
• 该方法实现了最优采样复杂度，与信息论下限 $ m \gtrsim n $ 完全匹配，并通过界中 $ \epsilon $-项对小扰动保持鲁棒性。