[论文解读] On Approximating Functions of the Singular Values in a Stream

Yi Li, David P. Woodruff|arXiv (Cornell University)|Apr 29, 2016

Complexity and Algorithms in Graphs参考文献 44被引用 8

一句话总结

本文為在資料流中近似 n×n 矩陣的 p 次 Schatten p-範數的 p 次方，確立了緊緻的空間複雜度界限，顯示對於非偶數整數 p，(1+ε)-近似需要 Ω(n^{1−g(ε)}) 的空間，而對於偶數整數 p，O(n^{1−2/p} poly(ε⁻¹ log n)) 的空間已足夠。此結果解決了 Schatten 範數、Ky-Fan 範數、SVD 熵、特徵值收縮函數及 M-估計器的空間複雜度問題，顯著改善了先前的下界。

ABSTRACT

For any real number $p > 0$, we nearly completely characterize the space complexity of estimating $\|A\|_p^p = \sum_{i=1}^n σ_i^p$ for $n imes n$ matrices $A$ in which each row and each column has $O(1)$ non-zero entries and whose entries are presented one at a time in a data stream model. Here the $σ_i$ are the singular values of $A$, and when $p \geq 1$, $\|A\|_p^p$ is the $p$-th power of the Schatten $p$-norm. We show that when $p$ is not an even integer, to obtain a $(1+ε)$-approximation to $\|A\|_p^p$ with constant probability, any $1$-pass algorithm requires $n^{1-g(ε)}$ bits of space, where $g(ε) ightarrow 0$ as $ε ightarrow 0$ and $ε> 0$ is a constant independent of $n$. However, when $p$ is an even integer, we give an upper bound of $n^{1-2/p} extrm{poly}(ε^{-1}\log n)$ bits of space, which holds even in the turnstile data stream model. The latter is optimal up to $ extrm{poly}(ε^{-1} \log n)$ factors. Our results considerably strengthen lower bounds in previous work for arbitrary (not necessarily sparse) matrices $A$: the previous best lower bound was $Ω(\log n)$ for $p\in (0,1)$, $Ω(n^{1/p-1/2}/\log n)$ for $p\in [1,2)$ and $Ω(n^{1-2/p})$ for $p\in (2,\infty)$. We note for $p \in (2, \infty)$, while our lower bound for even integers is the same, for other $p$ in this range our lower bound is $n^{1-g(ε)}$, which is considerably stronger than the previous $n^{1-2/p}$ for small enough constant $ε> 0$. We obtain similar near-linear lower bounds for Ky-Fan norms, SVD entropy, eigenvalue shrinkers, and M-estimators, many of which could have been solvable in logarithmic space prior to our work.

研究动机与目标

• 針對在資料流中估計 n×n 稀疏矩陣的 ‖A‖_p^p = ∑σ_i^p 的空間複雜度進行特徵分析。
• 解決在資料流模型中 Schatten p-範數估計的已知下界與上界之間的差距。
• 將空間複雜度結果延伸至相關矩陣函數，包括 Ky-Fan 範數、SVD 熵、特徵值收縮函數及 M-估計器。
• 證明對於非偶數整數 p，任何單 pass 演算法均需 n^{1−g(ε)} 空間，其中 g(ε)→0 當 ε→0。
• 展示對於偶數整數 p，O(n^{1−2/p} poly(ε⁻¹ log n)) 的空間已足夠，與已知下界僅相差多對數因子。

提出的方法

• 作者分析在單 pass 資料流模型中，對每行每列僅含 O(1) 個非零元素的矩陣，估計 ∑σ_i^p 的空間複雜度。
• 透過歸約與函數增長及奇異值行為的分析，推導出非偶數整數 p 的新下界 n^{1−g(ε)} 位元。
• 針對偶數整數 p，提出一種使用線性投射與矩估計技術的空間效率演算法，適用於轉位模型。
• 該方法涉及構造具有受控奇異值的困難矩陣實例，並分析 p 次方 Schatten 範數對元素更新的敏感度。
• 利用生成函數與卡塔蘭數及超幾何函數的漸近分析，以界定 log(r(k)) 的泰勒展開式中係數的界。
• 分析利用正交多項式性質與超幾何函數的積分表達式，以控制級數展開中關鍵項的符號與大小。

实验结果

研究问题

• RQ1 在單 pass 資料流中，估計矩陣的 p 次 Schatten p-範數的 p 次方的最優空間複雜度為何？
• RQ2 空間複雜度如何依賴於 p 是否為偶數整數？
• RQ3 對於非偶數整數 p，是否可將 Schatten p-範數的空間複雜度改善至超過先前下界？
• RQ4 Ky-Fan 範數、SVD 熵、特徵值收縮函數及 M-估計器在資料流模型中是否也需近線性空間？
• RQ5 在轉位模型中，偶數整數 p 的最緊緻上界為何？

主要发现

• 對於非偶數整數 p，任何單 pass 演算法為達成 (1+ε)-近似，均需 n^{1−g(ε)} 空間，其中 g(ε)→0 當 ε→0。
• 對於偶數整數 p，達成 O(n^{1−2/p} poly(ε⁻¹ log n)) 的空間上界，此結果在多對數因子內為最佳。
• 非偶數 p 的下界顯著強於先前的下界，特別是在 p>2 且 ε 較小時。
• 此結果可延伸至 Ky-Fan 範數、SVD 熵、特徵值收縮函數及 M-估計器，所有這些函數在資料流模型中均需近線性空間。
• 本文幾乎完全確立了稀疏矩陣設定下 Schatten p-範數的空間複雜度，明確描繪出 p 與空間之間的權衡。
• 分析顯示 G₁ + G₂ ≠ 0，確認了在漸近展開中關鍵項的貢獻不為零，此為證明下界之必要條件。