[论文解读] Solving Equations of Random Convex Functions via Anchored Regression

Sohail Bahmani, Justin Romberg|arXiv (Cornell University)|Feb 17, 2017

Sparse and Compressive Sensing Techniques参考文献 10被引用 5

一句话总结

本文提出锚定回归（anchored regression），一种凸优化方法，通过在自然参数空间的凸集上最大化线性泛函（附加正则化项），求解具有凸非线性的非线性方程组。该方法避免了非凸性与辅助变量的引入，在一般条件下仅需 M ≈ N 个方程即可以高概率恢复真实解，误差界取决于雷米赫尔复杂度（Rademacher complexity）与噪声水平。

ABSTRACT

We consider the question of estimating a solution to a system of equations that involve convex nonlinearities, a problem that is common in machine learning and signal processing. Because of these nonlinearities, conventional estimators based on empirical risk minimization generally involve solving a non-convex optimization program. We propose anchored regression, a new approach based on convex programming that amounts to maximizing a linear functional (perhaps augmented by a regularizer) over a convex set. The proposed convex program is formulated in the natural space of the problem, and avoids the introduction of auxiliary variables, making it computationally favorable. Working in the native space also provides great flexibility as structural priors (e.g., sparsity) can be seamlessly incorporated. For our analysis, we model the equations as being drawn from a fixed set according to a probability law. Our main results provide guarantees on the accuracy of the estimator in terms of the number of equations we are solving, the amount of noise present, a measure of statistical complexity of the random equations, and the geometry of the regularizer at the true solution. We also provide recipes for constructing the anchor vector (that determines the linear functional to maximize) directly from the observed data.

研究动机与目标

• 解决在机器学习与信号处理中常见的具有凸非线性的非线性方程组的求解问题。
• 通过引入一种凸替代方法，克服此类问题中传统经验风险最小化方法的非凸性。
• 开发一种直接在自然参数空间中运行、无需辅助变量的计算高效估计器。
• 在方程数量、噪声水平以及非线性函数的统计复杂度方面，提供估计精度的理论保证。
• 通过在原生空间中引入正则化，自然地整合结构先验（如稀疏性）。

提出的方法

• 提出锚定回归作为一种凸规划，通过在与观测方程一致的凸集上最大化线性泛函（附加正则化项）来求解。
• 直接在原始问题的参数空间中构建估计器，避免了升维或引入辅助变量的需要。
• 将锚点向量定义为真实函数在解处梯度的数据驱动估计，确保与真实解方向对齐。
• 利用真实解处上升方向集合的雷米赫尔复杂度来量化统计复杂度，并推导误差界。
• 通过雷米赫尔过程应用对称化与压缩论证，控制经验风险与其期望之间的偏差。
• 推导出估计解与真实解之间欧氏距离的高概率误差界，其依赖于噪声水平、方程数量以及正则化项的几何性质。

实验结果

研究问题

• RQ1 能否设计一种凸优化框架，在不引入非凸性或辅助变量的前提下求解具有凸非线性的非线性方程组？
• RQ2 非线性函数与方程数量需满足何种条件，才能确保真实解的一致性恢复？
• RQ3 在该设定下，上升方向集合的雷米赫尔复杂度如何影响估计误差？
• RQ4 能否在不破坏问题凸性的前提下，自然地将稀疏性等结构先验整合到解框架中？
• RQ5 当非线性函数为通用凸函数时，准确恢复所需的最少方程数量是多少？

主要发现

• 所提出的锚定回归估计器在方程数量 M 与参数空间维度 N 同阶时，以高概率恢复真实解。
• 估计误差受一个与平均噪声水平成正比、并包含正则化惩罚的项所限制，且该界与梯度方向与上升方向对齐的概率成反比。
• 误差界依赖于真实解处上升方向集合的雷米赫尔复杂度，该量量化了非线性函数的统计复杂度。
• 对于具有足够多样梯度的通用凸函数，该方法仅需 M ≈ N 个方程即可恢复解，展现出近乎最优的样本复杂度。
• 锚点向量可直接从观测数据中构造，从而实现完全数据驱动且计算可处理的实现。
• 该方法的误差界随方程数量呈有利的缩放趋势，收敛速率取决于正则化项的几何性质与噪声水平。