[论文解读] Unbiased estimators for random design regression

Michał Dereziński, Manfred K. Warmuth+1 more|arXiv (Cornell University)|Jul 8, 2019

Soil Geostatistics and Mapping被引用 4

一句话总结

该论文提出了一种新颖的体积缩放采样方法，通过使用行列式点过程（DPPs）构建非独立同分布（non-i.i.d.）样本，在随机设计回归中生成无偏的最小二乘估计量。证明了当样本量为 O(d log d + d/ϵ) 时，估计量的期望损失在最优损失的 1+ϵ 范围内，并为大规模数据集提供了高效算法，实现了近乎线性时间的计算效率，同时为模型平均提供了强有力的保证。

ABSTRACT

In linear regression we wish to estimate the optimum linear least squares predictor for a distribution over $d$-dimensional input points and real-valued responses, based on a small sample. Under standard random design analysis, where the sample is drawn i.i.d. from the input distribution, the least squares solution for that sample can be viewed as the natural estimator of the optimum. Unfortunately, this estimator almost always incurs an undesirable bias coming from the randomness of the input points, which is a significant bottleneck in model averaging. In this paper we show that it is possible to draw a non-i.i.d. sample of input points such that, regardless of the response model, the least squares solution is an unbiased estimator of the optimum. Moreover, this sample can be produced efficiently by augmenting a previously drawn i.i.d. sample with an additional set of $d$ points, drawn jointly according to a certain determinantal point process constructed from the input distribution rescaled by the squared volume spanned by the points. Motivated by this, we develop a theoretical framework for studying volume-rescaled sampling, and in the process prove a number of new matrix expectation identities. We use them to show that for any input distribution and $\epsilon>0$ there is a random design consisting of $O(d\log d+ d/\epsilon)$ points from which an unbiased estimator can be constructed whose expected square loss over the entire distribution is bounded by $1+\epsilon$ times the loss of the optimum. We provide efficient algorithms for generating such unbiased estimators in a number of practical settings and support our claims experimentally.

研究动机与目标

• 在标准 i.i.d. 采样会引入偏差的随机设计回归中，开发一种无偏估计量。
• 在保证无偏性的前提下，最小化估计量的期望损失，使其性能接近最优解，误差在最优解的 1+ϵ 倍以内。
• 设计一种高效的采样机制，使得估计量的构建时间在数据规模上近乎线性，尤其适用于大规模数据集。
• 建立体积缩放采样的理论框架，并推导新的矩阵期望恒等式以支持分析。
• 通过构建具有可证明无偏性和低期望损失的估计量，实现实际的模型平均与分布式学习。

提出的方法

• 通过行列式点过程（DPPs）实现体积缩放采样，从输入分布中生成非独立同分布（non-i.i.d.）样本，确保最小二乘估计量的无偏性。
• 通过在 i.i.d. 样本基础上增加 d 个联合采样的点来构建样本，这些点基于输入分布和点集张成的体积平方而生成。
• 应用涉及矩阵期望恒等式的理论框架，分析体积缩放采样下估计量的行为。
• 提出一种称为无失真中间采样（distortion-free intermediate sampling）的新算法技术，实现在样本规模多项式时间内的高效 DPP 采样。
• 通过将输入分布变换为单位协方差，将问题简化为标准形式，从而简化分析。
• 采用两部分分析：一部分针对样本矩阵满足强特征值条件的事件，另一部分针对失败情况，分别对两种情形下的期望损失进行有界。

实验结果

研究问题

• RQ1 能否在不假设高斯噪声或 i.i.d. 采样的前提下，在随机设计回归中构造出无偏的最小二乘估计量？
• RQ2 在保持无偏性的前提下，实现期望损失在最优损失的 1+ϵ 范围内，所需的最小样本量是多少？
• RQ3 能否设计出在大规模数据集上，构建此类无偏估计量的时间接近线性规模的高效算法？
• RQ4 如何利用行列式点过程（DPPs）构造非独立同分布的样本，以确保线性回归中估计量的无偏性？
• RQ5 为分析体积缩放采样并证明主要理论结果，需要哪些新的矩阵期望恒等式？

主要发现

• 在体积缩放样本上求解的最小二乘解，无论响应模型如何，都是最优预测器的无偏估计量。
• 对于任意输入分布和 ϵ > 0，存在一个大小为 O(d log d + d/ϵ) 的随机设计，使得估计量的期望损失至多为最优损失的 (1+ϵ) 倍。
• 当输入分布在规模 n ≫ d 的大规模数据集上均匀分布时，所提方法可实现无偏估计量的近乎线性时间构建。
• 该框架引入了一种新算法技术——无失真中间采样，实现了在样本规模多项式时间内对行列式点过程（DPPs）的高效采样。
• 分析证明了估计量的期望平方误差被最优损失的一个常数倍有界，其中常数由矩阵集中不等式和 DPP 性质显式导出。
• 本文建立了一个新的矩阵恒等式：对于任意具有单位协方差的随机向量 x，有 ∥E[bx]∥² ≤ E[b²]，该恒等式在控制估计量偏差中起着关键作用。