[论文解读] Sample Efficient Stochastic Gradient Iterative Hard Thresholding Method for Stochastic Sparse Linear Regression with Limited Attribute Observation

Tomoya Murata, Taiji Suzuki|arXiv (Cornell University)|Sep 5, 2018

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

该论文提出了一种在有限属性观测条件下针对稀疏线性回归的样本高效随机梯度方法，其中每个样本仅能观测到固定数量的特征。通过结合迭代硬阈值化与自适应探索-利用策略，该方法在维度依赖性方面得到改进，实现了 $\widetilde{O}(1/\varepsilon)$ 的样本复杂度，当非零系数足够大时，接近极小化极大最优性。

ABSTRACT

We develop new stochastic gradient methods for efficiently solving sparse linear regression in a partial attribute observation setting, where learners are only allowed to observe a fixed number of actively chosen attributes per example at training and prediction times. It is shown that the methods achieve essentially a sample complexity of $O(1/\varepsilon)$ to attain an error of $\varepsilon$ under a variant of restricted eigenvalue condition, and the rate has better dependency on the problem dimension than existing methods. Particularly, if the smallest magnitude of the non-zero components of the optimal solution is not too small, the rate of our proposed {\it Hybrid} algorithm can be boosted to near the minimax optimal sample complexity of {\it full information} algorithms. The core ideas are (i) efficient construction of an unbiased gradient estimator by the iterative usage of the hard thresholding operator for configuring an exploration algorithm; and (ii) an adaptive combination of the exploration and an exploitation algorithms for quickly identifying the support of the optimum and efficiently searching the optimal parameter in its support. Experimental results are presented to validate our theoretical findings and the superiority of our proposed methods.

研究动机与目标

• 解决在训练和预测阶段每个样本仅能观测到有限数量属性时稀疏线性回归的挑战。
• 克服现有方法在部分观测下随机稀疏回归中维度依赖性差的样本复杂度问题。
• 设计一种在非零系数最小幅度满足温和条件时，实现接近极小化极大最优样本复杂度的算法。
• 通过保持计算成本与观测特征数和问题维度成比例，确保运行时间和内存效率。

提出的方法

• 该方法通过迭代应用硬阈值算子构建无偏梯度估计器，以指导特征空间中的探索。
• 提出一种混合算法，自适应地结合探索（以识别真实支持集）与利用（以在支持集内精炼参数估计）。
• 该算法采用两阶段策略：首先，使用随机化探索阶段来估计最优稀疏解的支持集。
• 采用带精心设计步长和阈值规则的随机梯度下降框架，以保持稀疏性和收敛性。
• 理论分析依赖于受限特征值条件的变体，以界定估计误差和样本复杂度。
• 该方法通过不存储所有历史样本，确保内存效率，不同于基于Dantzig选择器的方法。

实验结果

研究问题

• RQ1 我们能否设计一种针对稀疏线性回归的随机梯度方法，在有限属性观测下实现接近极小化极大最优率的样本复杂度？
• RQ2 当每个样本仅可观测到属性子集时，如何高效探索特征空间？
• RQ3 非零系数的最小幅度对这类算法收敛速度有何影响？
• RQ4 与Dantzig选择器或正则化对偶平均等现有方法相比，能否在样本复杂度中实现更好的维度依赖性？
• RQ5 在该设置下，是否可能在保持低内存和运行时间成本的同时实现高统计效率？

主要发现

• 在受限特征值条件的变体下，所提方法实现了 $\widetilde{O}(1/\varepsilon)$ 的样本复杂度，该复杂度在对数因子范围内最优。
• 当最小非零系数远离零时，混合算法的样本复杂度趋近于全信息算法的极小化极大最优率。
• 该方法的运行时间和内存成本分别与每个样本的观测特征数和问题维度呈线性关系，确保实际效率。
• 理论分析表明，误差衰减速率依赖于 $\kappa_s$、$R_\infty$、$L_s$ 以及间隙 $\mathcal{L}(\widetilde{\theta}_0) - \mathcal{L}(\theta_*)$，且对维度和置信度具有对数依赖性。
• 实验结果验证了理论发现，表明在收敛速度和样本效率方面，该方法优于现有方法。
• 在高维特征和有限观测预算的设置下，该方法在真实解稀疏且系数不过小的情况下，显著优于先前方法。