[论文解读] Randomness Efficient Fast-Johnson-Lindenstrauss Transform with Applications in Differential Privacy and Compressed Sensing

Jalaj Upadhyay|arXiv (Cornell University)|Oct 9, 2014

Sparse and Compressive Sensing Techniques参考文献 56被引用 15

一句话总结

本文提出了一种随机性高效、快速的 Johnson-Lindenstrauss 变换，采用一种新型稀疏随机矩阵分布，支持快速矩阵-向量乘法、有界稀疏性，并实现最优子空间嵌入。该方法仅使用 $2n + n\log n$ 个随机位即可实现差分隐私，适用于私有矩阵计算，在私有低秩逼近中显著提升运行效率，并解决了差分隐私与压缩感知领域中的多个开放问题。

ABSTRACT

The Johnson-Lindenstrauss property ({\sf JLP}) of random matrices has immense application in computer science ranging from compressed sensing, learning theory, numerical linear algebra, to privacy. This paper explores the properties and applications of a distribution of random matrices. Our distribution satisfies {\sf JLP} with desirable properties like fast matrix-vector multiplication, sparsity, and optimal subspace embedding. We can sample a random matrix from this distribution using exactly $2n+n \log n$ random bits. We show that a random matrix picked from this distribution preserves differential privacy under the condition that the input private matrix satisfies certain spectral property. This improves the run-time of various differentially private mechanisms like Blocki {\it et al.} (FOCS 2012) and Upadhyay (ASIACRYPT 13). Our final construction has a bounded column sparsity. Therefore, this answers an open problem stated in Blocki {\it et al.} (FOCS 2012). Using the results of Baranuik {\it et al.} (Constructive Approximation: 28(3)), our result implies a randomness efficient matrices that satisfies the Restricted-Isometry Property of optimal order for small sparsity with exactly linear random bits. We also show that other known distributions of sparse random matrices with the {\sf JLP} does not preserves differential privacy; thereby, answering one of the open problem posed by Blocki {\it et al.} (FOCS 2012). Extending on the works of Kane and Nelson (JACM: 61(1)), we also give unified analysis of some of the known Johnson-Lindenstrauss transform. We also present a self-contained simplified proof of an inequality on quadratic form of Gaussian variables that we use in all our proofs.

研究动机与目标

• 设计一种 Johnson-Lindenstrauss 变换，仅使用最少的随机性，同时保持快速的矩阵-向量乘法与有界稀疏性。
• 证明当应用于具有有利谱性质的矩阵时，该变换可保持差分隐私。
• 解决差分隐私领域中的开放问题，包括私有低秩逼近与稀疏随机矩阵中的有界稀疏性要求。
• 通过受限等距性质（RIP）保证，将该变换的适用范围扩展至流形学习与压缩感知。
• 证明已知的稀疏随机矩阵构造在满足 JLP 时，无法保持差分隐私，从而回答 Blocki 等人提出的一个开放问题。

提出的方法

• 通过线性随机采样与结构化稀疏性构造随机矩阵分布，以确保快速的矩阵-向量乘法。
• 采用矩阵复合结构：随机置换、每列具有 $O(\log n)$ 个非零元的稀疏矩阵，以及高斯矩阵，以实现 JLP。
• 仅使用 $2n + n\log n$ 个随机位采样矩阵，在保持高概率下 JLP 的同时最小化随机性使用。
• 利用 Hanson-Wright 不等式与次高斯集中性证明在新分布下的 JLP。
• 借助 Kane 与 Nelson（JACM 2014）以及 Baranuik 等人（CA 2008）的结果，证明该变换在小稀疏性下满足最优阶的受限等距性质（RIP）。
• 提供高斯变量二次型关键不等式的自包含证明，该不等式是所有理论保证的基础。

实验结果

研究问题

• RQ1 能否构造一种 Johnson-Lindenstrauss 变换，仅使用 $O(n \log n)$ 个随机位，同时支持快速矩阵-向量乘法与有界稀疏性？
• RQ2 满足 JLP 的稀疏随机矩阵分布是否也能在私有矩阵计算中保持差分隐私？
• RQ3 该变换能否用于设计更快的差分隐私低秩逼近算法？
• RQ4 在此构造下，能否实现稀疏矩阵在最优受限等距性质（RIP）下的最优表现？
• RQ5 现有稀疏 JLT 构造为何无法保持差分隐私？能否对此进行形式化刻画？

主要发现

• 所提出的分布仅使用 $2n + n\log n$ 个随机位，即可在 $r = O(\varepsilon^{-2} \log(1/\delta))$ 维下满足 Johnson-Lindenstrauss 性质。
• 该变换支持在 $O(n \log n)$ 时间内完成快速矩阵-向量乘法，显著优于高斯矩阵的 $\Omega(rn)$ 时间复杂度。
• 当应用于谱范数有界的输入矩阵时，该构造保持差分隐私，从而实现比以往工作更快的差分隐私算法。
• 该方法回答了 Blocki 等人（FOCS 2012）提出的开放问题，证明有界列稀疏性与差分隐私兼容。
• 已证明已知的稀疏 JLT 构造（如 Matousek、Dasgupta）不保持差分隐私，从而解决了关键开放问题。
• 该变换表明存在一种新分布，可在小稀疏性下满足最优阶的受限等距性质（RIP），其证明基于 Baranuik 等人的结果。