[论文解读] Non-parametric Quantile Regression via the K-NN Fused Lasso

Steven Siwei Ye, Oscar Hernán Madrid Padilla|arXiv (Cornell University)|Dec 3, 2020

Statistical Methods and Inference参考文献 38被引用 9

一句话总结

本文提出了一种基于K-最近邻融合Lasso的非参数分位数回归方法，用于在高维数据中估计条件分位数。通过将K-最近邻图结构与融合Lasso惩罚相结合，该估计器在重尾误差下仍能实现接近极小极大收敛速率 $ n^{-1/d} $（对数因子范围内），且在模拟数据和真实数据上表现出强劲的实证性能。

ABSTRACT

Quantile regression is a statistical method for estimating conditional quantiles of a response variable. In addition, for mean estimation, it is well known that quantile regression is more robust to outliers than $l_2$-based methods. By using the fused lasso penalty over a $K$-nearest neighbors graph, we propose an adaptive quantile estimator in a non-parametric setup. We show that the estimator attains optimal rate of $n^{-1/d}$ up to a logarithmic factor, under mild assumptions on the data generation mechanism of the $d$-dimensional data. We develop algorithms to compute the estimator and discuss methodology for model selection. Numerical experiments on simulated and real data demonstrate clear advantages of the proposed estimator over state of the art methods.

研究动机与目标

• 开发一种能够适应多变量数据中局部结构的鲁棒、非参数分位数回归估计器。
• 通过K-最近邻图引入局部邻域结构，以克服现有方法的局限性。
• 在一般误差分布（包括重尾分布）下建立理论收敛速率。
• 提出一种无需事先知晓底层函数形式即可自适应于分段线性或多项式信号结构的方法。
• 提供一种计算上可行且便于模型选择的算法，配套代码已公开。

提出的方法

• 在协变量空间上构建K-最近邻（K-NN）图，以编码局部几何结构。
• 将分位数回归问题表述为带约束的优化问题：最小化非对称损失函数，外加在K-NN图上的融合Lasso惩罚。
• 利用K-NN图的有向关联矩阵 $ \nabla_G $ 定义总变差惩罚 $ \|\nabla_G \theta\|_1 $，以促进分段常数或线性估计。
• 借助分位数趋势滤波和K-NN融合Lasso的最新理论进展，推导出收敛性保证。
• 采用类似Huber的损失函数 $ \Delta_n^2(\delta) $ 衡量估计误差，以平衡鲁棒性与效率。
• 运用经验过程理论与对称化技术控制经验损失与真实损失之间的偏差，从而获得高概率界。

实验结果

研究问题

• RQ1 K-最近邻融合Lasso估计器是否能在一般误差分布下实现非参数分位数回归的最优收敛速率？
• RQ2 在传统参数假设失效的高维设定下，该方法表现如何？
• RQ3 通过K-最近邻引入局部邻域结构，与全局平滑方法相比，能在多大程度上提升估计精度？
• RQ4 该方法是否在实现快速收敛速率的同时保持对重尾误差的鲁棒性？
• RQ5 该估计器对真实信号中分段多项式结构的自适应性在理论上如何解释？

主要发现

• 所提出的K-NN融合Lasso分位数估计器实现了 $ n^{-1/d} $ 的收敛速率（对数因子范围内），与非参数分位数回归的近乎极小极大速率一致。
• 即使在一般误差分布（包括重尾分布）下，该方法仍能保持最优收敛速率，而先前方法通常要求子高斯或子指数尾部条件。
• 理论分析仅依赖于真实信号的有界变差性，使得结果适用于非常广泛的一类模型。
• 在模拟数据和真实数据上的数值实验表明，该方法在估计精度和鲁棒性方面明显优于当前最先进方法。
• 该估计器能很好地适应底层回归函数中的分段线性或多项式结构，这在结构化数据上的表现中得到了验证。
• 所有算法与数据集均已公开发布于GitHub，支持可复现性及进一步的方法开发。