[论文解读] Sparse Poisson Regression with Penalized Weighted Score Function

Jinzhu Jia, Fang Xie+1 more|arXiv (Cornell University)|Mar 11, 2017

Statistical Methods and Inference参考文献 18被引用 4

一句话总结

本文提出了一种新型的惩罚加权得分函数，用于稀疏泊松回归，可在无需依赖未知方差的调参选择的情况下实现 $β^{*}$-一致性。与传统的 $β^{*}$-惩罚对数似然方法不同，该方法利用了平方根类型的得分函数，确保了 $β^{*}$-一致性，并支持调参的预先指定，模拟结果表明其在异方差泊松噪声下具有更优的鲁棒性。

ABSTRACT

We proposed a new penalized method in this paper to solve sparse Poisson Regression problems. Being different from $\ell_1$ penalized log-likelihood estimation, our new method can be viewed as penalized weighted score function method. We show that under mild conditions, our estimator is $\ell_1$ consistent and the tuning parameter can be pre-specified, which shares the same good property of the square-root Lasso.

研究动机与目标

• 为解决 $β^{*}$-惩罚对数似然在高维稀疏泊松回归中的局限性，特别是对未知噪声方差的敏感性。
• 开发一种方法，实现在不依赖未知参数的调参选择的情况下实现 $β^{*}$-一致性。
• 将平方根Lasso原理扩展至泊松模型，确保在异方差泊松噪声下的鲁棒性。
• 为所提出的估计器提供有限样本和渐近性能的理论保证。

提出的方法

• 通过将标准得分函数替换为其平方根，提出一种惩罚加权得分函数方法，灵感源自平方根Lasso。
• 该方法最小化一种平方根类型的目标函数，平衡残差偏差与 $β^{*}$-惩罚，避免对未知方差的依赖。
• 估计器被定义为在变换后的得分空间中 $\|Y - X\beta\|_2 + \lambda \|\beta\|_1$ 的最小化器，从而确保鲁棒性。
• 理论分析依赖于中偏差不等式和浓度不等式，以控制估计误差。
• 使用加权得分函数以在异方差泊松噪声下稳定估计，而传统 $β^{*}$-惩罚方法在此类条件下会失效。
• 采用预先指定的调参 $\lambda = O(\sqrt{\log p / n})$，避免依赖数据的校准。

实验结果

研究问题

• RQ1 惩罚加权得分函数方法是否能在高维稀疏泊松回归中实现 $β^{*}$-一致性，且不依赖于未知方差的调参？
• RQ2 在异方差泊松噪声下，所提出的方法是否显著优于传统的 $β^{*}$-惩罚对数似然方法？
• RQ3 是否可以像平方根Lasso一样预先指定调参，同时保持一致性？
• RQ4 所提出估计器的有限样本和渐近误差界是什么？

主要发现

• 在温和的正则性条件下（包括限制特征值假设），所提出的估计器实现了 $β^{*}$-一致性。
• 调参 $\lambda$ 可预先指定为 $O(\sqrt{\log p / n})$，从而无需依赖数据的校准。
• 模拟结果表明，该方法在异方差泊松噪声下显著优于传统的 $β^{*}$-惩罚对数似然方法。
• 理论边界表明，$\beta^{*}$ 处大梯度范数的概率被控制在 $\alpha(1 + o(1))$ 以内，从而确保了一致性。
• 即使在相干性条件不成立时，该方法仍以高概率实现 $\ell_1$ 一致性。
• 当 $p \gg n$ 且 $p = o(e^{n^{1/5}})$ 时，估计器仍保持稳定性，支持高维设置。