[论文解读] Recursive bias estimation for multivariate regression smoothers

P.-A. Cornillon, Nicolas Hengartner+1 more|arXiv (Cornell University)|May 17, 2011

Statistical Methods and Inference参考文献 26被引用 9

一句话总结

该论文提出了一种用于多元回归平滑器的递归偏差估计方法，通过迭代校正基础平滑器（如薄板样条或核平滑器）中的偏差，自适应地提高预测精度，而无需选择最优平滑参数。由此产生的IBR（迭代偏差减少）平滑器在模拟中相比基线平滑器和加性模型（如GAM）的预测误差最高降低6000%，在波士顿房价数据集上降低20–40%，即使在中等维度（d ≤ 13）和小至中等样本量（n ≤ 800）下也表现优异。

ABSTRACT

This paper presents a practical and simple fully nonparametric multivariate smoothing procedure that adapts to the underlying smoothness of the true regression function. Our estimator is easily computed by successive application of existing base smoothers (without the need of selecting an optimal smoothing parameter), such as thin-plate spline or kernel smoothers. The resulting smoother has better out of sample predictive capabilities than the underlying base smoother, or competing structurally constrained models (GAM) for small dimension (3 < d < 8) and moderate sample size (n < 800). Moreover our estimator is still useful when (d> 10) and to our knowledge, no other adaptive fully nonparametric regression estimator is available without constrained assumption such as additivity for example. On a real example, the Boston Housing Data, our method reduces the out of sample prediction error by 20 %. An R package ibr, available at CRAN, implements the proposed multivariate nonparametric method in R.

研究动机与目标

• 开发一种完全非参数的多元回归平滑器，可自适应地匹配真实回归函数的未知平滑度。
• 通过递归校正而非依赖最优平滑参数选择，减轻非参数回归中的维度灾难问题。
• 提供一种实用且计算高效的算法，相较于GAM和MARS等现有模型，在中等维度和样本量下具有更高的预测精度。
• 证明完全非参数平滑器即使在更高维度（d > 10）下也有效，而传统方法在此失效，且无需施加加性等结构约束。
• 实现并发布一个R包（ibr），使该方法在真实数据分析中易于应用。

提出的方法

• 该方法对基础平滑器（如薄板样条或核平滑器）应用递归偏差校正，通过迭代方案逐步减少回归估计中的偏差。
• 在每次迭代中，将观测响应与当前平滑器预测之间的残差使用相同的基底平滑器进行平滑，并将结果加回到当前估计中。
• 该过程持续进行，直到基于广义交叉验证（GCV）的停止规则或达到固定迭代次数，以避免过拟合。
• 最终估计量是逐次校正的平滑器输出之和，有效逼近原始平滑器的偏差减少版本。
• 该方法在薄板样条上被证明具有自适应性（定理1和定理2），即能自动适应回归函数的潜在平滑度。
• 该方法无需在每一步调整平滑参数；相反，它依赖于基底平滑器的内在平滑性与迭代优化。

实验结果

研究问题

• RQ1 能否构建一种完全非参数的多元平滑器，使其在无需最优平滑参数选择的情况下自适应于回归函数的未知平滑度？
• RQ2 通过递归应用基底平滑器进行偏差校正，是否能提升与标准平滑器及加性模型相比的样本外预测性能？
• RQ3 该方法在多大程度上能缓解多元非参数回归中的维度灾难问题，特别是在中等维度（d = 3 到 13）和小至中等样本量下？
• RQ4 当真实回归函数包含加性模型无法捕捉的高阶交互作用时，该方法是否依然有效？
• RQ5 该迭代偏差减少框架能否推广至不同类型的基底平滑器？在后续迭代中使用较弱的平滑器是否具有优势？

主要发现

• 在d = 3至7且n ≤ 800的模拟研究中，IBR平滑器相比GAM模型将样本外预测误差最高降低了6000%。
• 在波士顿房价数据集（n = 506，d = 13）中，使用高斯核和1230次迭代的IBR平滑器将预测MSE降低至7.35，相比次优方法（MARS的10.54）提升了20%。
• 在波士顿数据的对数尺度上，IBR方法相比竞争模型将预测MSE降低了40%，表明其在复杂非线性结构上的强大性能。
• 基于TPS的IBR平滑器在所有模拟中均持续优于经过最优调参的TPS平滑器，中位数MSE降低约20%。
• 即使在d > 10的维度下，该方法依然有效，而此前尚无已知的无需结构约束的完全非参数自适应估计器可在此类情形下应用。
• 可在CRAN上获取的R包ibr成功实现了IBR方法，使该平滑器在真实数据分析中得以实际应用。