[论文解读] Sparse Wavelet Estimation in Quantile Regression with Multiple Functional Predictors

Dengdeng Yu, Li Zhang+3 more|arXiv (Cornell University)|Jun 7, 2017

Sparse and Compressive Sensing Techniques参考文献 46被引用 3

一句话总结

本文提出了一种基于稀疏小波的分位数回归方法，用于具有多个功能预测变量的标量响应，采用稀疏组lasso惩罚，以同时选择重要的功能预测变量并捕捉它们之间的共享结构。该方法利用小波基展开实现高效的局部特征检测，并通过二阶锥规划和ADMM求解估计问题，在理论上实现了最优收敛速率和预测误差界，且在模拟实验和ADHD-200 fMRI数据中表现出色。

ABSTRACT

In this manuscript, we study quantile regression in partial functional linear model where response is scalar and predictors include both scalars and multiple functions. Wavelet basis are adopted to better approximate functional slopes while effectively detect local features. The sparse group lasso penalty is imposed to select important functional predictors while capture shared information among them. The estimation problem can be reformulated into a standard second-order cone program and then solved by an interior point method. We also give a novel algorithm by using alternating direction method of multipliers (ADMM) which was recently employed by many researchers in solving penalized quantile regression problems. The asymptotic properties such as the convergence rate and prediction error bound have been established. Simulations and a real data from ADHD-200 fMRI data are investigated to show the superiority of our proposed method.

研究动机与目标

• 解决在存在多个功能预测变量和标量协变量的情况下，对鲁棒、高维功能分位数回归的需求。
• 通过引入小波基以实现局部功能特征检测和计算效率，克服现有方法的局限性。
• 利用稀疏组lasso惩罚，同时在多个功能预测变量之间执行变量选择，并在每个预测变量内部实现稀疏性。
• 在正则性条件下，建立理论保证，包括收敛速率和预测误差界。
• 在ADHD-200项目的真实fMRI数据上，展示该方法在不同分位数水平下识别相关脑区（ROIs）的有效性。

提出的方法

• 使用共同的小波基表示功能系数，以实现在多个功能预测变量之间共享信息的捕捉。
• 将估计问题公式化为结合了lasso和组lasso惩罚的惩罚分位数回归问题。
• 将优化问题重新表述为可通过内点法求解的标准二阶锥规划问题。
• 开发一种高效的ADMM算法以求解惩罚分位数回归问题，从而实现高维设置下的可扩展性。
• 利用Knight恒等式线性化分位数回归中的检查函数，以进行理论分析并推导渐近性质。
• 采用小波阈值化和基展开，实现功能系数的稀疏、局部化和自适应估计。

实验结果

研究问题

• RQ1 小波基表示是否能提升在多个功能预测变量下的分位数回归中的估计精度和局部特征检测能力？
• RQ2 在分位数回归框架下，稀疏组lasso惩罚是否能有效选择重要功能预测变量，同时捕捉它们之间的共享结构？
• RQ3 在正则性条件下，所提出的估计量的理论收敛速率和预测误差界是什么？
• RQ4 与现有方法相比，该方法在真实fMRI数据上的变量选择和预测性能如何？
• RQ5 该方法是否能识别出与ADHD指数在不同分位数水平下相关的生物上有意义的脑区（ROIs）？

主要发现

• 所提出的方法实现了功能系数估计量的最优收敛速率，其速率取决于真实系数函数的稀疏性和光滑性。
• 在正则性条件下建立了预测误差界，表明估计量以依赖于样本大小和小波系数数量的速率收敛到真实系数。
• ADMM算法收敛高效，支持可扩展计算，使该方法适用于高维功能数据（如fMRI）。
• 模拟结果表明，该方法在变量选择准确性和预测误差方面优于竞争方法，尤其在稀疏且相关的功能预测变量下表现更优。
• 在ADHD-200 fMRI应用中，该方法成功识别出与ADHD严重程度在不同分位数水平下相关的少量关键脑区（如前额叶和顶叶区域）。
• 稀疏组lasso惩罚有效平衡了组级别稀疏性（选择整个ROI）和ROI内部稀疏性（选择相关的小波系数），从而提升了可解释性和性能。