[论文解读] Sketching Meets Random Projection in the Dual: A Provable Recovery Algorithm for Big and High-dimensional Data

Jialei Wang, Jason D. Lee+3 more|arXiv (Cornell University)|Oct 10, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用 4

一句话总结

该论文提出了一种原始-对偶压缩算法，通过结合迭代Hessian压缩和对偶随机投影，并利用预处理共轭梯度法，加速了高维大规模机器学习问题中最优解的恢复。该方法在压缩迭代次数为对数级别时实现了可证明的收敛性，通过联合减小样本规模和维度，实现了任意精度的解恢复。

ABSTRACT

Sketching techniques have become popular for scaling up machine learning algorithms by reducing the sample size or dimensionality of massive data sets, while still maintaining the statistical power of big data. In this paper, we study sketching from an optimization point of view: we first show that the iterative Hessian sketch is an optimization process with preconditioning, and develop accelerated iterative Hessian sketch via the searching the conjugate direction; we then establish primal-dual connections between the Hessian sketch and dual random projection, and apply the preconditioned conjugate gradient approach on the dual problem, which leads to the accelerated iterative dual random projection methods. Finally to tackle the challenges from both large sample size and high-dimensionality, we propose the primal-dual sketch, which iteratively sketches the primal and dual formulations. We show that using a logarithmic number of calls to solvers of small scale problem, primal-dual sketch is able to recover the optimum of the original problem up to arbitrary precision. The proposed algorithms are validated via extensive experiments on synthetic and real data sets which complements our theoretical results.

研究动机与目标

• 解决大规模高维机器学习问题中的计算瓶颈，其中样本规模和特征维度均极为庞大。
• 克服传统压缩方法的局限性，即为获得更高精度，需要呈指数级增长的压缩维度。
• 通过优化理论，建立一个统一框架，连接原始（Hessian压缩）和对偶（随机投影）压缩技术。
• 提出一种新颖的原始-对偶压缩方法，可在迭代子问题中同时减少样本规模和维度。
• 利用预处理共轭梯度法在对偶问题上实现可证明的快速收敛，获得加速的收敛速率。

提出的方法

• 将迭代Hessian压缩重新表述为一种使用共轭方向搜索的预处理优化过程，以加速收敛。
• 建立原始-对偶等价性：证明对偶随机投影在对偶空间中等价于Hessian压缩。
• 在对偶问题上应用预处理共轭梯度法，从而实现加速的迭代对偶随机投影（IDRP），获得更快的收敛速度。
• 提出一种原始-对偶压缩算法，通过交替压缩原始和对偶形式，在每次迭代中同时减少样本规模和维度。
• 仅通过少量小规模求解器的对数次调用，即可实现对原始问题最优解的任意精度恢复。
• 利用矩阵集中与相似性界分析条件数和随机投影下的收敛行为。

实验结果

研究问题

• RQ1 能否通过共轭梯度和预处理方法加速迭代压缩方法，以减少达到高精度解所需的迭代次数？
• RQ2 在优化等价性方面，Hessian压缩（原始）与对偶随机投影（对偶）之间的确切关系是什么？
• RQ3 能否设计一种同时减少样本规模和维度的联合压缩策略，使其在高维设置下优于单一视角的压缩方法？
• RQ4 在这样的迭代原始-对偶压缩框架中，能够为收敛速度和解精度提供哪些理论保证？
• RQ5 压缩后的Hessian矩阵的条件数如何影响收敛性？在随机投影下是否可以对其进行有界控制？

主要发现

• 加速的迭代Hessian压缩显著减少了达到给定精度所需的压缩迭代次数，同时保持了每次迭代的计算成本不变。
• 建立了Hessian压缩与对偶随机投影之间的可证明等价性：后者等价于在对偶空间中执行Hessian压缩。
• 所提出的原始-对偶压缩算法仅通过少量小规模求解器的对数次调用，即可实现对原始问题最优解的任意精度恢复。
• 理论分析表明，压缩后Hessian矩阵的条件数以高概率有界，从而在随机投影下可实现快速收敛。
• 原始-对偶压缩的误差界随迭代次数呈几何级衰减，收敛速率取决于压缩维度和问题的条件数。
• 在合成数据集和真实世界数据集上的实验结果验证了理论发现，表明该方法比基线压缩方法具有更快的收敛速度和更高的精度。