[论文解读] Quantile regression approach to conditional mode estimation

Hirofumi Ota, Kengo Kato+1 more|arXiv (Cornell University)|Nov 13, 2018

Statistical Methods and Inference参考文献 43被引用 6

一句话总结

本文提出了一种基于线性分位数回归和估计分位数函数的数值微分的计算可扩展的条件众数回归估计量。关键贡献在于该估计量的渐近分布是切诺夫分布的尺度变换，尽管存在非标准渐近性质，但这一特性使得分析推断和基于重抽样的推断均可简便实现。

ABSTRACT

In this paper, we consider estimation of the conditional mode of an outcome variable given regressors. To this end, we propose and analyze a computationally scalable estimator derived from a linear quantile regression model and develop asymptotic distributional theory for the estimator. Specifically, we find that the pointwise limiting distribution is a scale transformation of Chernoff's distribution despite the presence of regressors. In addition, we consider analytical and subsampling-based confidence intervals for the proposed estimator. We also conduct Monte Carlo simulations to assess the finite sample performance of the proposed estimator together with the analytical and subsampling confidence intervals. Finally, we apply the proposed estimator to predicting the net hourly electrical energy output using Combined Cycle Power Plant Data.

研究动机与目标

• 开发一种计算高效的条件众数估计量，避免核方法固有的维度灾难问题。
• 为所提出的估计量建立渐近理论，证明其极限分布是切诺夫分布的尺度变换。
• 通过分析和重抽样置信区间，提供实用的推断工具，用于条件众数的推断。
• 通过蒙特卡洛模拟和真实数据应用（发电厂能量输出预测）评估有限样本性能。

提出的方法

• 通过将条件分位数函数估计转化为线性规划问题，利用线性分位数回归实现计算可扩展性。
• 通过数值微分计算估计分位数函数的导数，以近似条件密度的逆函数。
• 通过最小化该数值导数来估计条件众数，从而有效定位条件密度的峰值。
• 在带宽序列 $ h_n \to 0 $ 的条件下发展渐近理论，收敛速率为 $ (nh^2)^{-1/3} $。
• 通过一致估计切诺夫极限分布的尺度常数，构建分析置信区间。
• 当分析方差估计不稳定时，也提出基于重抽样的置信区间以实现稳健推断。

实验结果

研究问题

• RQ1 能否将分位数回归框架调整为高效且一致地估计条件众数？
• RQ2 在正则条件下，所提出的条件众数估计量的渐近分布是什么？
• RQ3 在有限样本中，该方法与现有的线性众数回归和核方法相比表现如何？
• RQ4 鉴于其非标准极限分布，能否有效构建分析和基于重抽样的置信区间？

主要发现

• 所提出的估计量达到 $ (nh^2)^{-1/3} $ 的收敛速率，虽慢于标准参数速率，但符合众数估计的典型特征。
• 估计量的逐点极限分布是切诺夫分布的尺度变换，这是一种由立方根渐近性质引发的非标准渐近分布。
• 该极限分布使得推断相对简便，因为尺度常数可被一致估计，从而用于构建分析置信区间。
• 基于重抽样的置信区间被证明有效且稳健，尤其在分析方差估计不可靠时表现更优。
• 蒙特卡洛模拟表明，当真实模函数为非线性时，所提估计量在均方根误差方面优于线性众数回归方法。
• 该方法成功应用于联合循环发电厂数据，预测每小时净电能输出，展现出优异的有限样本性能。