[论文解读] Sketching for Kronecker Product Regression and P-splines

Huaian Diao, Zhao Song+2 more|arXiv (Cornell University)|Dec 27, 2017

Sparse and Compressive Sensing Techniques参考文献 26被引用 3

一句话总结

该论文提出了一种基于草图的算法，利用 TensorSketch 实现高效的克罗内克积回归与 P-样条回归，能够在子线性时间内求解 ℓ₁ 和一般 ℓₚ 范数问题。该方法在显式计算克罗内克积时间的子线性时间内实现 (1+ε)-近似解，实验中实现了 5–10 倍的加速，且相对误差低于 2%。

ABSTRACT

TensorSketch is an oblivious linear sketch introduced in Pagh'13 and later used in Pham, Pagh'13 in the context of SVMs for polynomial kernels. It was shown in Avron, Nguyen, Woodruff'14 that TensorSketch provides a subspace embedding, and therefore can be used for canonical correlation analysis, low rank approximation, and principal component regression for the polynomial kernel. We take TensorSketch outside of the context of polynomials kernels, and show its utility in applications in which the underlying design matrix is a Kronecker product of smaller matrices. This allows us to solve Kronecker product regression and non-negative Kronecker product regression, as well as regularized spline regression. Our main technical result is then in extending TensorSketch to other norms. That is, TensorSketch only provides input sparsity time for Kronecker product regression with respect to the $2$-norm. We show how to solve Kronecker product regression with respect to the $1$-norm in time sublinear in the time required for computing the Kronecker product, as well as for more general $p$-norms.

研究动机与目标

• 解决大规模回归问题中显式构造克罗内克积矩阵带来的计算低效问题。
• 开发一种在克罗内克积矩阵规模上实现子线性时间复杂度的克罗内克积回归方法。
• 将草图技术从 ℓ₂ 范数扩展至鲁棒的 ℓ₁ 范数与一般 ℓₚ 范数回归，适用于克罗内克结构的设计矩阵。
• 通过草图技术实现 P-样条回归中的高效正则化，提出针对 P-样条的新型统计维度度量。
• 为结构化回归问题的子线性时间近似算法提供理论与实证验证。

提出的方法

• 将 TensorSketch 作为无偏子空间嵌入，用于在不显式构造 $A \otimes B$ 的情况下压缩克罗内克积矩阵。
• 利用草图技术降低设计矩阵与响应向量的维度，同时在 $ (1+\epsilon) $-近似范围内保持回归目标。
• 通过结合线性规划与随机化草图框架，设计一种基于草图的 ℓ₁ 回归算法，其运行时间相对于克罗内克积大小为子线性时间。
• 提出一种专为 P-样条回归定制的新型统计维度度量，将先前针对岭回归的定义扩展至样条模型。
• 构建一种草图方案，通过将 TensorSketch 框架适配以保持 ℓₚ 结构嵌入，从而支持一般 ℓₚ 范数。
• 使用 Gurobi 实现并评估 ℓ₁ 回归算法，使用 Regularization Tools 实现并评估 P-样条回归，与暴力精确求解器进行对比。

实验结果

研究问题

• RQ1 能否有效将 TensorSketch 应用于克罗内克积回归，在不显式构造 $A \otimes B$ 的情况下实现子线性时间计算？
• RQ2 在克罗内克结构回归的背景下，能否将草图技术从 ℓ₂ 扩展至 ℓ₁ 和一般 ℓₚ 范数？
• RQ3 P-样条回归的合适统计维度度量是什么？如何利用这些度量指导草图以实现最优近似？
• RQ4 在实际性能上，所提出的草图算法与精确求解器相比，在运行时间和解的精度方面表现如何？
• RQ5 该框架能否推广至处理超过两个矩阵的多个克罗内克因子？

主要发现

• 所提算法在 $ \operatorname{nnz}(A) + \operatorname{nnz}(B) + \operatorname{poly}(d/\epsilon) $ 时间内实现克罗内克积回归的 (1+ε)-近似解，该时间复杂度相对于计算 $A \otimes B$ 的时间为子线性。
• 对于 ℓ₁ 回归，该方法相对于克罗内克积大小实现子线性时间运行，相较于基于 Gurobi 的暴力求解器实现 10 倍加速，同时保持约 1% 的相对误差。
• 在 P-样条回归中，仅采样 20% 的行（10,000 行中的 2,000 行）即可实现 0.044% 的相对误差，相较于精确计算减少 52% 的运行时间。
• 在所有测试配置中，该算法保持小于 2% 的相对残差误差，且随着草图大小增加，误差持续下降。
• 实验结果表明，将采样行数从 8,000 增加到 16,000 时，ℓ₂ 回归的相对误差从 1.79% 降低至 1.01%，同时运行时间比从 0.11 上升至 0.25。
• 该方法在不同正则化参数 $\lambda$ 下具有良好可扩展性，即使在草图大小减小的情况下，仍能保持低误差（例如 $\lambda=0.01$ 时误差为 0.0297%）。