[论文解读] Optimal Sketching for Kronecker Product Regression and Low Rank Approximation

Huaian Diao, Rajesh Jayaram+3 more|arXiv (Cornell University)|Sep 29, 2019

Face and Expression Recognition被引用 17

一句话总结

本文提出了用于克罗内克积回归与低秩逼近的最优压缩算法，实现了 ℓ₂ 回归的运行时间为 O(∑ᵢ nnz(Aᵢ))，ℓₚ 回归（p ≤ 2）的运行时间为 O(∑ᵢ nnz(Aᵢ) + nnz(b))，显著优于先前工作，消除了对 nnz(b) 的依赖。该方法可实现无需显式构造完整乘积的克罗内克矩阵的高效全对回归与低秩逼近。

ABSTRACT

We study the Kronecker product regression problem, in which the design matrix is a Kronecker product of two or more matrices. Given $A_i \in \mathbb{R}^{n_i imes d_i}$ for $i=1,2,\dots,q$ where $n_i \gg d_i$ for each $i$, and $b \in \mathbb{R}^{n_1 n_2 \cdots n_q}$, let $\mathcal{A} = A_1 \otimes A_2 \otimes \cdots \otimes A_q$. Then for $p \in [1,2]$, the goal is to find $x \in \mathbb{R}^{d_1 \cdots d_q}$ that approximately minimizes $\|\mathcal{A}x - b\|_p$. Recently, Diao, Song, Sun, and Woodruff (AISTATS, 2018) gave an algorithm which is faster than forming the Kronecker product $\mathcal{A}$ Specifically, for $p=2$ their running time is $O(\sum_{i=1}^q ext{nnz}(A_i) + ext{nnz}(b))$, where nnz$(A_i)$ is the number of non-zero entries in $A_i$. Note that nnz$(b)$ can be as large as $n_1 \cdots n_q$. For $p=1,$ $q=2$ and $n_1 = n_2$, they achieve a worse bound of $O(n_1^{3/2} ext{poly}(d_1d_2) + ext{nnz}(b))$. In this work, we provide significantly faster algorithms. For $p=2$, our running time is $O(\sum_{i=1}^q ext{nnz}(A_i) )$, which has no dependence on nnz$(b)$. For $p<2$, our running time is $O(\sum_{i=1}^q ext{nnz}(A_i) + ext{nnz}(b))$, which matches the prior best running time for $p=2$. We also consider the related all-pairs regression problem, where given $A \in \mathbb{R}^{n imes d}, b \in \mathbb{R}^n$, we want to solve $\min_{x} \|\bar{A}x - \bar{b}\|_p$, where $\bar{A} \in \mathbb{R}^{n^2 imes d}, \bar{b} \in \mathbb{R}^{n^2}$ consist of all pairwise differences of the rows of $A,b$. We give an $O( ext{nnz}(A))$ time algorithm for $p \in[1,2]$, improving the $Ω(n^2)$ time needed to form $\bar{A}$. Finally, we initiate the study of Kronecker product low rank and low $t$-rank approximation. For input $\mathcal{A}$ as above, we give $O(\sum_{i=1}^q ext{nnz}(A_i))$ time algorithms, which is much faster than computing $\mathcal{A}$.

研究动机与目标

• 设计无需显式计算完整克罗内克积矩阵的克罗内克积回归的更快算法，损失函数为 ℓₚ（p ∈ [1,2]）。
• 通过实现 O(nnz(A)) 时间复杂度，绕过构造成对差分矩阵所需的 Ω(n²) 成本，解决全对回归中的计算瓶颈。
• 仅使用 O(∑ᵢ nnz(Aᵢ)) 时间，实现克罗内克积矩阵 A₁ ⊗ ⋯ ⊗ A_q 的高效低秩与低-t-秩逼近。
• 建立最优的基于压缩的算法，运行时间与或优于先前结果，同时保持 (1+ε)-近似保证。

提出的方法

• 利用压缩技术隐式地压缩克罗内克积矩阵，避免显式构建完整的矩阵 A₁ ⊗ ⋯ ⊗ A_q。
• 采用 ℓₚ-良好条件基与残差采样，高效地从回归问题中采样行，同时保持近似质量。
• 应用快速采样引理，减小回归问题的规模，同时保持 ℓₚ 回归的 (1+ε)-近似。
• 使用双准则低秩逼近框架，计算全对矩阵 A̅ = A ⊗ A 的低秩逼近，而无需显式构造 A̅。
• 将所得的低秩因子重新组织为克罗内克结构矩阵，以保持低-t-秩结构。
• 依赖一般损失函数的性质（如近似三角不等式、单调性、回归性质），将结果扩展至任意 ℓ_p 与一般损失函数。

实验结果

研究问题

• RQ1 我们能否在不构造完整克罗内克积矩阵的前提下，实现克罗内克积回归（ℓ₂ 与 ℓ₁ 损失）的最优运行时间？
• RQ2 是否可能在 O(nnz(A)) 时间内完成全对回归，从而避免显式构造成对差分矩阵所需的 Ω(n²) 成本？
• RQ3 能否以输入稀疏性的线性时间实现克罗内克积矩阵的低秩与低-t-秩逼近？
• RQ4 在克罗内克结构矩阵的背景下，针对一般 ℓ_p 与非平方损失函数，最优的基于压缩的算法是什么？
• RQ5 在高维结构化回归问题中，如何在大幅降低时间复杂度的同时保持近似保证？

主要发现

• 对于 ℓ₂ 回归，该算法运行时间为 O(∑ᵢ nnz(Aᵢ))，完全消除了对 nnz(b) 的依赖，相比先前工作（需 O(nnz(b)) 时间）有显著改进。
• 对于 ℓₚ 回归（p < 2），该算法达到 O(∑ᵢ nnz(Aᵢ) + nnz(b)) 的时间复杂度，与 ℓ₂ 回归的最佳已知运行时间一致。
• 为全对回归开发了 O(nnz(A)) 时间的算法，优于显式构造全对矩阵所需的 Ω(n²) 时间。
• 本文首次提出 O(∑ᵢ nnz(Aᵢ)) 时间的低秩与低-t-秩逼近算法，用于克罗内克积矩阵，避免了计算 A₁ ⊗ ⋯ ⊗ A_q 的高昂开销。
• 通过利用近似三角不等式与回归性质等结构特性，建立了适用于一般损失函数的理论保证，实现广泛适用性。
• 该框架支持 ℓ₂ 与 ℓₚ 回归的 (1+ε)-近似，以及一般 ℓ_p 与一般损失函数的 poly(k log n)-近似，且高概率成立。