[论文解读] Non-smooth Variable Projection

Tristan van Leeuwen, Aleksandr Y. Aravkin|arXiv (Cornell University)|Jan 19, 2016

3D Shape Modeling and Analysis参考文献 51被引用 8

一句话总结

该论文通过引入一种不精确自适应算法，将变量投影方法扩展至非光滑优化问题，该算法在最小化一组变量的同时处理非光滑正则化项和不精确的子问题解。论文建立了全局收敛性及收敛速率，并将该框架应用于机器学习和反问题。

ABSTRACT

Variable projection solves structured optimization problems by completely minimizing over a subset of the variables while iterating over the remaining variables. Over the last 30 years, the technique has been widely used, with empirical and theoretical results demonstrating both greater efficacy and greater stability compared to competing approaches. Classic examples have exploited closed-form projections and smoothness of the objective function. We extend the approach to problems that include non-smooth terms, and where the projection subproblems can only be solved inexactly by iterative methods. We propose an inexact adaptive algonrithm for solving such problems and analyze its computational complexity. Finally, we show how the theory can be used to design methods for selected problems occurring frequently in machine-learning and inverse problems.

研究动机与目标

• 填补变量投影方法在非光滑、非凸优化问题中，子问题解不精确情况下的研究空白。
• 为具有非光滑项的结构化优化问题，开发一种全局收敛的不精确自适应算法。
• 分析在 y-子问题中存在不精确性时的计算复杂度和收敛速率。
• 基于所提出的框架，设计适用于机器学习和反问题中常见问题的实用方法。
• 在存在不精确投影的情况下，建立收敛性和收敛速率的理论保证。

提出的方法

• 提出一种不精确自适应的近端梯度方法，用于最小化 $ f(x,y) + r_1(x) + r_2(y) $，其中 $ f $ 为光滑函数，而 $ r_1, r_2 $ 可能为非光滑函数。
• 通过定义 $ \bar{y}(x) = \arg\min_y f(x,y) + r_2(y) $ 实现变量投影，将问题简化为最小化 $ \bar{f}(x) = f(x, \bar{y}(x)) + r_1(x) $。
• 通过在近端梯度更新中引入误差项 $ e_k $，处理 y-子问题的不精确解，确保在误差有界时仍能保证下降。
• 通过类似李雅普诺夫的分析建立收敛性，证明 $ \min_k \|x_{k+1} - x_k\| \leq A \sqrt{ \frac{F(x_0) - F(x_*)}{n} } $，其中 $ A = \sqrt{ \frac{2}{L - 2C} } $，假设 $ \|e_k\| \leq C \|x_{k+1} - x_k\| $ 且 $ C < L/2 $。
• 基于近端梯度映射 $ G(x) = \alpha^{-1}(x - \text{prox}_{\alpha g}(x - \alpha \nabla f(x))) $ 提出停止准则，满足 $ \|T(x) - \bar{x}\| \leq \frac{1 + \alpha L}{\mu} \|G(x)\| $，从而确保次优性界。
• 利用 $ \bar{f}(x) $ 的 Hessian 矩阵的舒尔补结构，证明即使在非光滑正则化项存在时，该问题仍具有改善的条件性和稳定性。

实验结果

研究问题

• RQ1 是否可以将变量投影方法扩展至 y-子问题通过迭代方法不精确求解的非光滑问题？
• RQ2 当子问题解为近似解时，能否为不精确变量投影建立收敛性保证？
• RQ3 求解 y-子问题时的不精确性如何影响整体算法的全局收敛性和收敛速率？
• RQ4 所提出的框架能否成功应用于具有非光滑正则化的机器学习和反问题中的实际问题？
• RQ5 何种实用的停止准则可在不精确性存在时，保证与最优解的距离？

主要发现

• 不精确自适应变量投影算法确保了全局收敛性，收敛速率为 $ \min_k \|x_{k+1} - x_k\| \leq \sqrt{ \frac{2(F(x_0) - F(x_*))}{(L - 2C)n} } $，其中 $ C $ 为 y-子问题解中相对误差的上界。
• 当误差 $ \|e_k\| $ 相对于步长和到下一迭代点的距离足够小时，可保证下降，具体为 $ \|e_k\| \leq \min\left( \frac{\gamma}{2\alpha}, \frac{\gamma}{2(\alpha^{-1} - L/2)} \right) $，其中 $ \gamma $ 在非驻点处远离零。
• 该方法避免了计算 $ \bar{y}(x) $ 对 $ x $ 的敏感性，即使在非光滑设置下也保持了经典变量投影方法的效率。
• 理论分析表明，约简后的问题 $ \bar{f}(x) $ 从 Hessian 矩阵的舒尔补结构中继承了有利的条件性，从而提升了数值稳定性。
• 通过近端梯度映射 $ G(x) $ 推导出一种实用的停止准则，确保 $ \|T(x) - \bar{x}\| \leq \frac{1 + \alpha L}{\mu} \|G(x)\| $，从而界定了与最优解的距离。
• 该框架成功应用于三个典型问题：模型校准、机器学习中的修剪问题以及PDE约束优化，展示了其广泛适用性。