[论文解读] Rademacher Chaos, Random Eulerian Graphs and The Sparse Johnson-Lindenstrauss Transform

Vladimir Braverman, Rafail Ostrovsky+1 more|arXiv (Cornell University)|Nov 11, 2010

Neural Networks and Applications参考文献 16被引用 20

一句话总结

本文通过分析二阶 Rademacher 混合的矩，结合随机欧拉多重图的组合结构，改进了稀疏 Johnson-Lindenstrauss 变换对稀疏性和随机性的要求。它将每列的非零条目数从 $ O(1/\theta \log(1/\delta)\log(k/\delta)) $ 降低至 $ O\left(\frac{1}{\epsilon}\left(\frac{\log(1/\delta)\log\log\log(1/\delta)}{\log\log(1/\delta)}\right)^2\right) $，显著收紧了界限，并减少了生成矩阵所需的随机性。

ABSTRACT

The celebrated dimension reduction lemma of Johnson and Lindenstrauss has numerous computational and other applications. Due to its application in practice, speeding up the computation of a Johnson-Lindenstrauss style dimension reduction is an important question. Recently, Dasgupta, Kumar, and Sarlos (STOC 2010) constructed such a transform that uses a sparse matrix. This is motivated by the desire to speed up the computation when applied to sparse input vectors, a scenario that comes up in applications. The sparsity of their construction was further improved by Kane and Nelson (ArXiv 2010). We improve the previous bound on the number of non-zero entries per column of Kane and Nelson from $O(1/ε\log(1/δ)\log(k/δ))$ (where the target dimension is $k$, the distortion is $1\pm ε$, and the failure probability is $δ$) to $$ O\left({1\overε} \left({\log(1/δ)\log\log\log(1/δ) \over \log\log(1/δ)} ight)^2 ight). $$ We also improve the amount of randomness needed to generate the matrix. Our results are obtained by connecting the moments of an order 2 Rademacher chaos to the combinatorial properties of random Eulerian multigraphs. Estimating the chance that a random multigraph is composed of a given number of node-disjoint Eulerian components leads to a new tail bound on the chaos. Our estimates may be of independent interest, and as this part of the argument is decoupled from the analysis of the coefficients of the chaos, we believe that our methods can be useful in the analysis of other chaoses.

研究动机与目标

• 在保持 $ (1\pm\epsilon) $ 误差与失败概率 $ \delta $ 的前提下，减少稀疏 Johnson-Lindenstrauss 变换矩阵中每列的非零条目数。
• 降低生成变换矩阵所需的随机性量。
• 通过在矩阵构造中利用结构化依赖关系，突破独立条目矩阵的 $ \tilde{\Omega}(\epsilon^{-2}) $ 稀疏性下界。
• 通过充分挖掘节点不相交欧拉图的组合结构，为二阶 Rademacher 混合提供更紧致的尾部界限。
• 建立一种新的分析框架，该框架可能适用于此问题之外的场景，特别是其他混沌过程。

提出的方法

• 分析二阶 Rademacher 混合 $ Z = \sum_{1\leq i<j\leq d} a_{ij} \zeta_i \zeta_j $，其中系数 $ a_{ij} $ 依赖于哈希函数和输入向量。
• 将 $ Z $ 的 $ 2m $ 阶矩中的单项式映射到 $ d $ 个节点上的图，其中非零单项式对应于节点不相交的欧拉子图的并。
• 利用欧拉多重图的组合计数，界定具有特定度数和边重数约束的此类图的数量。
• 对稀疏配置应用精细化计数技术，根据集合 $ Q $ 的大小和 $ z $（图中不同索引的数量）的值区分情况处理。
• 通过利用欧拉分量的结构特性和受控常数的过度计数论证，界定大偶数矩，从而推导出混沌的新尾部不等式。
• 提出一种新颖的基于矩的分析方法，完全利用图论结构，避免了先前测度集中界限的局限性。

实验结果

研究问题

• RQ1 稀疏 Johnson-Lindenstrauss 变换的稀疏性是否可以超越 Kane 和 Nelson 提出的 $ O(1/\epsilon \log(1/\delta) \log(k/\delta)) $ 边界？
• RQ2 为实现 $ (1\pm\epsilon) $ 误差与失败概率 $ \delta $，稀疏 Johnson-Lindenstrauss 矩阵中每列所需的最少非零条目数是多少？
• RQ3 通过分析混沌矩中的组合结构，是否可以减少生成此类矩阵的随机性复杂度？
• RQ4 如何通过分析底层欧拉图结构，更紧致地界定二阶 Rademacher 混合的矩？
• RQ5 对混沌矩展开进行完全组合分析，是否能获得优于依赖部分图结构的先前方法的更优尾部界限？

主要发现

• 本文实现了每列非零条目数的新界限 $ O\left(\frac{1}{\epsilon}\left(\frac{=\log(1/\delta)\log\log\log(1/\delta)}{\log\log(1/\delta)}\right)^2\right) $，优于 Kane 和 Nelson 的 $ O\left(\frac{1}{\epsilon}\log(1/\delta)\log(k/\delta)\right) $ 界限。
• 通过在混沌矩展开中充分挖掘欧拉多重图的组合结构，分析显著减少了生成矩阵所需的随机性。
• 作者通过分析随机多重图中节点不相交欧拉分量的数量，为二阶 Rademacher 混合推导出新的尾部界限，从而实现了更紧致的矩估计。
• 该方法通过在矩阵构造中引入结构化依赖关系，避开了独立条目矩阵的 $ \tilde{\Omega}(\epsilon^{-2}) $ 稀疏性障碍。
• 所开发的组合框架——特别是对稀疏配置中具体序列的计数——可能具有独立兴趣，并可应用于其他混沌过程。
• 通过根据索引集 $ Q $ 的大小和 $ z $（不同索引的数量）区分情况，结合精细化过度计数与渐近界，实现了改进的界限。