[论文解读] On randomness reduction in the Johnson-Lindenstrauss lemma

Paweł Wolff|arXiv (Cornell University)|Feb 24, 2012

Mathematical Approximation and Integration参考文献 18被引用 3

一句话总结

该论文提出了一种随机化降维技术，通过修改快速Johnson-Lindenstrauss变换，减少了Johnson-Lindenstrauss引理中的随机性。与稀疏投影矩阵中独立条目不同，该方法在行内采用无放回抽样，实现了与原有方法相似的失真保证，但显著减少了随机比特数量，同时保持了计算效率和失真与失败概率的理论边界。

ABSTRACT

A refinement of so-called fast Johnson-Lindenstrauss transform, due to Ailon and Chazelle (2006), and Matoušek (2008), is proposed. While it preserves the time efficiency and simplicity of implementation of the original construction, it reduces randomness used to generate the random transformation. In the analysis of the construction two auxiliary results are established which might be of independent interest: a Bernstein-type inequality for a sum of a random sample from a family of independent random variables and a normal approximation result for such a sum.

研究动机与目标

• 在保持时间效率和失真保证的前提下，减少快速Johnson-Lindenstrauss变换所需的随机性。
• 通过用行内无放回抽样替代稀疏投影矩阵中完全独立的条目，改进现有构造方法。
• 建立新的概率工具——无放回抽样下的Bernstein型不等式以及依赖随机变量和的正态近似，这些工具可能具有独立的研究价值。
• 在相同参数配置下，提供与先前工作相当或更优的失真和失败概率的理论边界。

提出的方法

• 将稀疏投影矩阵 $ P $ 中的i.i.d.条目替换为一种设计：每行均匀无放回地随机选择 $ k = nq $ 个条目，为其分配 $ \pm 1 $ 符号，其余位置设为零。
• 利用 $ HD $（带随机符号的Hadamard变换）将任一固定单位向量映射为 $ \ell_\infty $-范数较小的向量，从而在 $ P $ 中实现有效稀疏性。
• 应用无放回抽样的Bernstein型不等式，以控制 $ \|Pv\|_2 $ 偏离其均值的偏差，确保在新构造下的集中性。
• 利用无放回抽样下随机变量和的正态近似结果，以控制 $ \|Pv\|_1 $ 和 $ \|Pv\|_2 $ 的行为。
• 条件化 $ HDu $ 的 $ \ell_\infty $-范数，并结合 $ \|Pv\|_2 $ 和 $ \|Pv\|_1 $ 的尾部界限，推导出整体的失真和失败概率边界。
• 对数据集中所有点对使用并集界，以确保最终映射以高概率保持距离在 $ (1\pm\varepsilon) $ 范围内。

实验结果

研究问题

• RQ1 能否在不牺牲时间效率或失真保证的前提下，减少快速Johnson-Lindenstrauss变换所需的随机性？
• RQ2 从一组独立随机变量中无放回抽样所得随机变量和的概率性质是什么？
• RQ3 能否为无放回抽样产生的依赖随机变量和建立正态近似结果？
• RQ4 在相同参数约束下，用无放回抽样替代稀疏投影矩阵中的i.i.d.条目，是否仍能保持Johnson-Lindenstrauss性质？

主要发现

• 所提出的构造将生成变换所需的随机比特数从 $ O(nd) $ 减少到 $ O(k \log n) $，其中 $ k = nq $，显著提升了随机性效率。
• 该方法保持了与原始快速Johnson-Lindenstrauss变换相同的时间复杂度，即 $ HD $ 为 $ O(n \log n) $，$ P $ 为 $ O(dk) $，确保了计算效率。
• 当 $ d \geq C \varepsilon^{-2} \log(1/\delta) $ 且 $ k \geq C \log(2n/\delta) $ 时，变换以至少 $ 1-\delta $ 的概率保持距离在 $ (1\pm\varepsilon) $ 范围内。
• 建立了无放回抽样下的新型Bernstein型不等式，表明该抽样方案下和的集中性。
• 推导出依赖随机变量和（来自无放回抽样）的正态近似结果，该结果在概率论中可能具有独立研究价值。
• 该构造在失真边界上与Ailon和Chazelle以及Matoušek的工作相当，但随机性更少，因此在大规模应用中更具实用性。