[论文解读] Optimal linear estimation under unknown nonlinear transform

Xinyang Yi, Zhaoran Wang+2 more|PubMed|May 13, 2015

Sparse and Compressive Sensing Techniques参考文献 37被引用 23

一句话总结

该论文提出了一种基于谱的估计方法，用于线性模型中未知、非线性且可能不可逆的连接函数，例如在一位压缩感知或逻辑回归中。在对未知连接函数的矩条件要求较弱的前提下，该方法在经典设置和高维设置下均实现了极小极大最优估计速率。

ABSTRACT

Linear regression studies the problem of estimating a model parameter <b>β</b>* ∈ℝ ^<i>p</i> , from <i>n</i> observations [Formula: see text] from linear model <i>y_i</i> = 〈<b>x</b>_<i>i</i> , <b>β</b>*〉 + ε _<i>i</i> . We consider a significant generalization in which the relationship between 〈<b>x</b>_<i>i</i> , <b>β</b>*〉 and <i>y_i</i> is noisy, quantized to a single bit, potentially nonlinear, noninvertible, as well as unknown. This model is known as the single-index model in statistics, and, among other things, it represents a significant generalization of one-bit compressed sensing. We propose a novel spectral-based estimation procedure and show that we can recover <b>β</b>* in settings (i.e., classes of link function <i>f</i>) where previous algorithms fail. In general, our algorithm requires only very mild restrictions on the (unknown) functional relationship between <i>y_i</i> and 〈<b>x</b>_<i>i</i> , <b>β</b>*〉. We also consider the high dimensional setting where <b>β</b>* is sparse, and introduce a two-stage nonconvex framework that addresses estimation challenges in high dimensional regimes where <i>p</i> ≫ <i>n</i>. For a broad class of link functions between 〈<b>x</b>_<i>i</i> , <b>β</b>*〉 and <i>y_i</i> , we establish minimax lower bounds that demonstrate the optimality of our estimators in both the classical and high dimensional regimes.

研究动机与目标

• 解决当协变量与二值响应之间的关系未知、非线性且可能不可逆时，估计稀疏线性模型的挑战。
• 开发一种无需事先了解连接函数的方法，因为在实际中该函数通常未被观测到或被错误指定。
• 在低维和高维情形下，建立所提估计器的统计最优性。
• 将现有模型（如一位压缩感知、逻辑回归和一位相位恢复）统一并推广到一个单一框架下。

提出的方法

• 该方法通过分析协变量和响应之间差异的二阶矩，而非原始矩，来利用矩方法。
• 在低维设置中，通过从成对观测差异构造的矩矩阵进行谱分解来获得估计器。
• 在高维设置中（$ p \gg n $），引入一种两阶段非凸优化框架以恢复稀疏 $ \bm{\beta}^{*} $。
• 该方法仅依赖于对未知连接函数 $ f $ 的单一矩条件，该条件较弱，且被许多常见函数满足，包括 $ \mathop{\mathrm{sign}}(z) $ 和 $ \sin(z) $。
• 该算法避免了对未知 $ f $ 的非凸似然函数进行凸优化，后者在计算上难以处理。
• 理论分析建立了计算和统计收敛速率，通过极小极大下界证明了其最优性。

实验结果

研究问题

• RQ1 当连接函数 $ f $ 未知、非线性且可能不可逆时，我们能否一致地估计 $ \bm{\beta}^{*} $？
• RQ2 在未知连接函数下，估计 $ \bm{\beta}^{*} $ 的基本统计极限（极小极大速率）是什么？
• RQ3 在 $ p \gg n $ 的高维情形下，谱方法是否能在不假设 $ f $ 知识的前提下实现最优估计性能？
• RQ4 与现有方法相比，所提方法在统计效率和计算可及性方面表现如何？
• RQ5 所提估计器是否在包括非光滑和不可逆函数在内的广泛连接函数类中达到极小极大最优？

主要发现

• 所提谱估计器在经典设置下实现了极小极大最优收敛速率，其性能与在完整数据条件下的线性回归相当。
• 在高维情形下（$ p \gg n $），两阶段非凸方法实现了信息论上的最优误差率，样本复杂度与多项式时间方法的已知下界一致。
• 在仅需一个温和矩条件的前提下，该方法对包括 $ f(z) = \mathop{\mathrm{sign}}(z) $ 和 $ f(z) = \sin(z) $ 在内的广泛连接函数类实现了极小极大最优。
• 通过基于检验的论证并利用分布之间的 KL 散度，建立了极小极大下界，表明任何估计器都无法实现优于 $ \Omega\left(\sqrt{\frac{s\log(p/s)}{n}}\right) $ 的误差率。
• 误差率的量级为 $ \tilde{O}\left(\frac{\sqrt{m(1-m)}}{L}\sqrt{\frac{s\log(p/s)}{n}}\right) $，其中 $ m $ 限制 $ |f(z)| $ 远离 1，$ L $ 是 $ f $ 的利普希茨常数，表明对连接函数不确定性的鲁棒性。
• 该框架统一并推广了一位压缩感知、逻辑回归和一位相位恢复，为这些模型提供了一个具有最优保证的单一估计器。