[论文解读] Understanding Sparse JL for Feature Hashing

Meena Jagadeesan|arXiv (Cornell University)|Mar 8, 2019

Advanced Image and Video Retrieval Techniques参考文献 28被引用 6

一句话总结

本文针对特征哈希中的稀疏 Johnson-Lindenstrauss (JL) 变换，提供了针对一般稀疏度 $s > 1$ 的紧致理论分析，表明更高的稀疏度能显著改善低 $\ell_\infty$-to-$\ell_2$ 比值特征向量的范数保持性能。该研究推广了此前针对 $s=1$ 的工作，并通过实证验证表明，$s>1$ 在实践中可实现更高的准确率和更低的失败概率。

ABSTRACT

Feature hashing and other random projection schemes are commonly used to reduce the dimensionality of feature vectors. The goal is to efficiently project a high-dimensional feature vector living in $\mathbb{R}^n$ into a much lower-dimensional space $\mathbb{R}^m$, while approximately preserving Euclidean norm. These schemes can be constructed using sparse random projections, for example using a sparse Johnson-Lindenstrauss (JL) transform. A line of work introduced by Weinberger et. al (ICML '09) analyzes the accuracy of sparse JL with sparsity 1 on feature vectors with small $\ell_\infty$-to-$\ell_2$ norm ratio. Recently, Freksen, Kamma, and Larsen (NeurIPS '18) closed this line of work by proving a tight tradeoff between $\ell_\infty$-to-$\ell_2$ norm ratio and accuracy for sparse JL with sparsity $1$. In this paper, we demonstrate the benefits of using sparsity $s$ greater than $1$ in sparse JL on feature vectors. Our main result is a tight tradeoff between $\ell_\infty$-to-$\ell_2$ norm ratio and accuracy for a general sparsity $s$, that significantly generalizes the result of Freksen et. al. Our result theoretically demonstrates that sparse JL with $s > 1$ can have significantly better norm-preservation properties on feature vectors than sparse JL with $s = 1$; we also empirically demonstrate this finding.

研究动机与目标

• 填补关于特征哈希中稀疏 JL 变换稀疏度 $s > 1$ 的理论空白。
• 为一般稀疏度 $s$ 建立 $\ell_\infty$-to-$\ell_2$ 范数比与准确率之间的紧致权衡关系。
• 从理论上和实证上证明 $s > 1$ 相较于 $s = 1$ 显著提升了范数保持性能。
• 解决高维特征空间中稀疏度与投影效率之间的实际权衡。

提出的方法

• 基于矩和尾概率分析，推导出一般稀疏度 $s$ 下稀疏 JL 变换失败概率的紧致上界。
• 采用 $\ell_q$-范数随机投影的广义分析，刻画 $s > 1$ 时稀疏矩阵的行为。
• 应用浓度不等式和矩界，将 $\ell_\infty$-to-$\ell_2$ 范数比与投影向量的畸变相关联。
• 对每列含 $s$ 个非零元素、每个值为 $\pm 1/\sqrt{s}$ 的随机投影矩阵进行精细化分析，以界定向量的 $\ell_2$-范数保持性能。
• 采用相变分析方法，评估失败概率 $\delta$ 作为 $m$、$s$、$\epsilon$ 和 $\ell_\infty$-to-$\ell_2$ 比值的函数。
• 通过在合成数据集和真实数据集（如 News20、Enron）上的实验，验证理论发现，测量 $\hat{v}(m,\epsilon,\delta,s)$ 和 $\hat{\delta}(m,s,\epsilon)$。

实验结果

研究问题

• RQ1 当稀疏度 $s$ 超过 1 时，对特征向量而言，稀疏 JL 变换的范数保持准确率如何变化？
• RQ2 对于一般 $s > 1$，$\ell_\infty$-to-$\ell_2$ 范数比与失败概率 $\delta$ 之间最紧致的权衡关系是什么？
• RQ3 理论上在 $s > 1$ 时范数保持性能的改进是否可在真实世界和合成数据集中被实证观察到？
• RQ4 尽管渐近理论表明如此，为何在实践中失败概率 $\delta$ 作为 $s$ 的函数表现出非单调行为？

主要发现

• 本文为一般稀疏度 $s$ 的稀疏 JL 建立了 $\ell_\infty$-to-$\ell_2$ 范数比与准确率之间的紧致权衡，推广了此前仅限于 $s=1$ 的结果。
• 理论证明表明，对于 $\ell_\infty$-to-$\ell_2$ 比值较低的特征向量，$s > 1$ 的稀疏 JL 相较于 $s=1$ 显著提升了范数保持性能。
• 实证结果证实，更高的 $s$ 导致更低的失败概率 $\delta$ 和更高的准确率，尤其在相变区域表现显著。
• 失败概率 $\delta$ 作为 $s$ 的函数表现出非单调行为，在某些 $m$ 和 $\epsilon$ 下，$s \in [12,16]$ 和 $[24,32]$ 区间内出现局部极大值，表明存在复杂的权衡关系。
• 理论界表明，$\|R(v,\ldots,v,0,\ldots,0)\|_q / \|R(v,\ldots,v,0,\ldots,0)\|_{2q} \geq D$ 对某个常数 $D$ 成立，证实了鲁棒的范数保持性能。
• 分析确认 $\|R(v,\ldots,v,0,\ldots,0)\|_q \geq 2048\epsilon$，表明当 $s > 1$ 时具有强集中测度特性。