[论文解读] Randomized Least Squares Regression: Combining Model- and Algorithm-Induced Uncertainties.

T. Jocelyn, Ilse C. F. Ipsen|arXiv (Cornell University)|Aug 17, 2018

Sparse and Compressive Sensing Techniques参考文献 31被引用 6

一句话总结

本文分析了由于模型噪声和随机化压缩算法引起的最小二乘回归解中的不确定性，推导出总偏差和方差的精确表达式。结果表明，算法引起的不确定性由期望秩亏值和原始问题与压缩问题之间投影算子的差异所决定。

ABSTRACT

We analyze the uncertainties in the minimum norm solution of full-rank regression problems, arising from Gaussian linear models, computed by randomized (row-wise sampling and, more generally, sketching) algorithms. From a deterministic perspective, our structural perturbation bounds imply that least squares problems are less sensitive to multiplicative perturbations than to additive perturbations. From a probabilistic perspective, our expressions for the total expectation and variance with regard to both model- and algorithm-induced uncertainties, are exact, hold for general sketching matrices, and make no assumptions on the rank of the sketched matrix. The relative differences between the total bias and variance on the one hand, and the model bias and variance on the other hand, are governed by two factors: (i) the expected rank deficiency of the sketched matrix, and (ii) the expected difference between projectors associated with the original and the sketched problems. A simple example, based on uniform sampling with replacement, illustrates the statistical quantities.

研究动机与目标

• 量化模型引起的不确定性与算法引起的不确定性对最小二乘回归解的联合影响。
• 在不假设矩阵满秩的前提下，推导出一般压缩矩阵下总期望与方差的精确表达式。
• 表征算法不确定性如何依赖于压缩问题中期望秩亏值与投影算子差异。
• 将总不确定性（偏差与方差）与仅模型引起的不确定性进行比较，识别出关键控制因素。

提出的方法

• 推导了在乘法与加法矩阵扰动下最小二乘解的结构化扰动界。
• 采用概率建模方法，通过对模型与算法随机性进行积分，计算出总偏差与方差的精确表达式。
• 提出一种将压缩矩阵视为随机算子的框架，使得分析无需假设压缩后矩阵为满秩。
• 定义关键量：压缩矩阵的期望秩亏值，以及原始问题与压缩问题投影算子的期望差异。
• 将该框架应用于带放回的均匀采样压缩示例，以说明统计行为。
• 建立了算法不确定性与压缩过程几何性质之间的理论联系。

实验结果

研究问题

• RQ1 在随机化回归中，模型引起的不确定性与算法引起的不确定性如何共同影响最小二乘解？
• RQ2 在同时存在模型与算法不确定性的情况下，总偏差与方差的精确表达式是什么？
• RQ3 压缩矩阵的期望秩亏值如何影响总不确定性？
• RQ4 原始问题与压缩问题投影算子之间的差异在决定算法不确定性方面起什么作用？
• RQ5 从相对大小来看，总偏差与方差与仅模型引起的偏差与方差相比如何？

主要发现

• 通过适用于一般压缩矩阵且无需秩假设的表达式，精确刻画了随机化最小二乘回归中的总偏差与方差。
• 基于结构化扰动界，发现最小二乘问题对乘法扰动的敏感性低于对加法扰动的敏感性。
• 总偏差与方差相对于仅模型引起的偏差与方差的相对差异，由两个因素决定：期望秩亏值与期望投影算子差异。
• 在带放回的均匀采样示例中，偏差与方差等统计量被明确展示，并与理论预测一致。
• 该框架揭示出，算法不确定性本质上与压缩过程的几何特性相关，特别是通过投影算子的差异体现。