[论文解读] Nonparametric and Varying Coefficient Modal Regression

Weixin Yao, Sijia Xiang|arXiv (Cornell University)|Feb 22, 2016

Advanced Statistical Methods and Models参考文献 19被引用 6

一句话总结

本文提出使用局部多项式估计的非参数模值回归方法，以建模条件响应分布的众数，从而在偏斜或重尾数据下实现稳健且高效的预测。该研究建立了渐近性质，并将该方法扩展至变系数模型，在模拟和真实医疗支出数据中均表现出优于均值与中位数回归的性能。

ABSTRACT

In this article, we propose a new nonparametric data analysis tool, which we call nonparametric modal regression, to investigate the relationship among interested variables based on estimating the mode of the conditional density of a response variable Y given predictors X. The nonparametric modal regression is distinguished from the conventional nonparametric regression in that, instead of the conditional average or median, it uses the "most likely" conditional values to measures the center. Better prediction performance and robustness are two important characteristics of nonparametric modal regression compared to traditional nonparametric mean regression and nonparametric median regression. We propose to use local polynomial regression to estimate the nonparametric modal regression. The asymptotic properties of the resulting estimator are investigated. To broaden the applicability of the nonparametric modal regression to high dimensional data or functional/longitudinal data, we further develop a nonparametric varying coefficient modal regression. A Monte Carlo simulation study and an analysis of health care expenditure data demonstrate some superior performance of the proposed nonparametric modal regression model to the traditional nonparametric mean regression and nonparametric median regression in terms of the prediction performance.

研究动机与目标

• 开发一种非参数方法，用于在不假设众数函数形式的前提下，估计给定预测变量的响应变量条件众数。
• 通过聚焦于‘最可能值’（众数）而非均值或中位数，提升回归预测的准确性和稳健性。
• 将模型扩展至变系数结构，以增强在高维或函数型数据设置下的灵活性。
• 在正则条件下，建立所提出估计量的渐近性质，包括偏差与方差。
• 提供一种实用的估计算法，包括一种EM型程序，以支持在真实数据应用中的实现。

提出的方法

• 使用局部多项式回归估计条件众数，其中众数被识别为核平滑条件密度的最大化点。
• 采用两阶段核密度估计器对联合密度 $ f(x,y) $ 进行估计，其中带宽 $ h_1 $ 和 $ h_2 $ 分别对应预测变量和响应变量。
• 使用EM型算法迭代更新众数及其相关参数的估计，以提升收敛性与稳定性。
• 在正则条件下，利用泰勒展开与随机逼近方法，推导估计量的渐近偏差与方差表达式。
• 应用局部多项式方法以同时估计众数及其导数，从而实现对众数函数形状的推断。
• 通过允许众数函数通过灵活的非参数系数函数依赖于协变量，将模型扩展至变系数模值回归。

实验结果

研究问题

• RQ1 在偏斜或重尾误差分布下，非参数模值回归能否在预测准确性方面优于传统的均值与中位数回归？
• RQ2 局部多项式估计量在条件众数估计中的渐近性质（偏差、方差、一致性）是什么？
• RQ3 如何将模值回归模型扩展至高维或函数型数据中的变系数结构？
• RQ4 在模型设定错误的情况下，所提出的估计量在有限样本下的表现如何，相较于均值与中位数回归？
• RQ5 所提出的EM型算法能否在复杂数据设置中可靠估计众数函数，并具备收敛性保证？

主要发现

• 在蒙特卡洛模拟中，所提出的非参数模值回归估计量在偏斜误差分布下，其预测误差低于均值与中位数回归。
• 推导出估计量的渐近偏差与方差，表明偏差依赖于条件密度的二阶与三阶导数以及带宽选择。
• 估计量的渐近分布为正态分布，其方差与 $ 1/(n h_1 h_2^3) $ 成正比，表明收敛速度依赖于带宽选择。
• 变系数模值回归模型成功捕捉了高维数据中的复杂非线性关系，相较于参数替代方法，显著提升了模型拟合度与预测性能。
• 对医疗支出数据的实证分析表明，模值回归在存在异常值或偏度的情况下，相比均值回归提供了更稳健且准确的预测。
• EM型算法在高维或复杂数据设置中显著提升了数值稳定性和收敛速度。