[论文解读] Optimal Algorithms for Ridge and Lasso Regression with Partially Observed Attributes

Elad Hazan, Tomer Koren|arXiv (Cornell University)|Aug 23, 2011

Advanced Bandit Algorithms Research参考文献 12被引用 10

一句话总结

本文提出了一种高效的在线算法，用于在部分属性观测条件下进行岭回归和套索回归，即每个样本只能访问有限数量的特征。所提出的算法实现了与全信息基线方法相当的样本复杂度（仅相差常数因子），解决了Cesa-Bianchi等人（2010年）提出的一个开放问题，并在支持向量回归中显著优于先前工作，将属性依赖性呈指数级降低。

ABSTRACT

We consider the most common variants of linear regression, including Ridge, Lasso and Support-vector regression, in a setting where the learner is allowed to observe only a fixed number of attributes of each example at training time. We present simple and efficient algorithms for these problems: for Lasso and Ridge regression they need the same total number of attributes (up to constants) as do full-information algorithms, for reaching a certain accuracy. For Support-vector regression, we require exponentially less attributes compared to the state of the art. By that, we resolve an open problem recently posed by Cesa-Bianchi et al. (2010). Experiments show the theoretical bounds to be justified by superior performance compared to the state of the art.

研究动机与目标

• 解决在仅能观测每个样本有限数量属性的挑战，这在医疗诊断等现实应用中是常见约束。
• 解决Cesa-Bianchi等人（2010年）提出的开放问题：属性高效学习是否能匹配全信息回归的样本复杂度？
• 为岭回归、套索回归和支持向量回归设计简单、高效的在线算法，在部分观测条件下保持低样本复杂度。
• 证明属性效率不会损害学习性能，即使每个样本仅观测到一小部分特征。

提出的方法

• 提出一种新颖的在线学习框架，自适应地选择每个样本应观测的属性，以最小化预测误差，同时遵守每个样本的属性预算。
• 设计一种针对稀疏特征访问的在线次梯度方法变体，采用随机选择策略以保持收敛性保证。
• 为套索回归引入一种对偶平均方法，以在部分观测下平衡稀疏性与泛化能力。
• 在支持向量回归中，采用一种新颖的采样策略，降低先前工作中存在的维度上的指数依赖性。
• 利用损失函数的强凸性和光滑性特性，推导出以观测属性数量表示的紧致泛化界。
• 使用随机舍入技术，将全信息算法转换为具有可证明性能保证的属性高效版本。

实验结果

研究问题

• RQ1 我们能否为岭回归和套索回归设计属性高效的算法，使其样本复杂度与全信息方法相当？
• RQ2 在部分观测条件下，是否可能在不依赖维度指数级增长的前提下降低支持向量回归的样本复杂度？
• RQ3 每个样本观测的属性数量与达到收敛所需的总样本数之间，其根本权衡是什么？
• RQ4 在严格的属性观测约束下，在线算法能否实现与离线全信息基线相当的性能？

主要发现

• 所提出的AELR算法在套索回归中实现了 $ O\left(\frac{d\log d}{k\varepsilon^{2}}\right) $ 的样本复杂度，与全信息套索回归的理论界仅相差对数因子。
• 对于岭回归，该算法实现了 $ O\left(\frac{d}{k\varepsilon^{2}}\right) $ 的样本复杂度，当 $ k = \Omega(d) $ 时，与全信息情形一致。
• 对于支持向量回归，样本复杂度从 $ O\left(e^{\frac{d^{2}}{k\varepsilon^{2}}}\right) $ 降低至 $ O\left(\frac{d}{k}\right) \cdot e^{O\left(\log^{2}{\frac{1}{\varepsilon}}\right)} $，实现了指数级改进。
• 在MNIST“3 vs. 5”数字识别任务上的实验表明，AELR在每个样本仅观测4个属性的情况下，测试误差比当前最先进算法AER降低了近10倍。
• 随着训练前缀的增加，该算法保持了低测试误差，表明其在部分观测下的鲁棒性与可扩展性。
• 理论下界证实，$ \Omega\left(\frac{d}{\varepsilon^{2}}\right) $ 个属性对于实现 $ \varepsilon $-准确的岭回归是必要的，验证了所提边界的最优性。