[论文解读] Tensor Random Projection for Low Memory Dimension Reduction

Yiming Sun, Yang Guo+2 more|arXiv (Cornell University)|Apr 30, 2021

Tensor decomposition and applications参考文献 25被引用 16

一句话总结

本文提出了张量随机投影（TRP），一种低内存的降维方法，利用较小随机投影的Khatri-Rao积构建稀疏、内存高效的随机投影映射。TRP在显著降低存储需求的同时，实现了与传统方法相当的精度，存储规模随$N$个分量映射呈$√[N]{d}$增长，并引入了一种方差降低的变体，在保持低计算成本的同时提升了等距性质量。

ABSTRACT

Random projections reduce the dimension of a set of vectors while preserving structural information, such as distances between vectors in the set. This paper proposes a novel use of row-product random matrices in random projection, where we call it Tensor Random Projection (TRP). It requires substantially less memory than existing dimension reduction maps. The TRP map is formed as the Khatri-Rao product of several smaller random projections, and is compatible with any base random projection including sparse maps, which enable dimension reduction with very low query cost and no floating point operations. We also develop a reduced variance extension. We provide a theoretical analysis of the bias and variance of the TRP, and a non-asymptotic error analysis for a TRP composed of two smaller maps. Experiments on both synthetic and MNIST data show that our method performs as well as conventional methods with substantially less storage.

研究动机与目标

• 解决传统随机投影映射在处理高维数据时存储成本过高的问题。
• 开发一种在大规模应用中兼具内存高效与计算轻量的降维方法。
• 在大规模数据库和张量数据处理等存储与查询成本至关重要的场景中，实现高效的随机投影。
• 为所提出的TRP框架提供等距误差与方差的理论保证。
• 证明TRP在性能上可与高斯随机投影相媲美，同时显著降低内存使用。

提出的方法

• TRP将$N$个较小的随机投影矩阵的Khatri-Rao积构造为降维映射，每个矩阵大小为$d_n \times k$。
• 所得映射$\mathbf{A} = \mathbf{A}_1 \odot \cdots \odot \mathbf{A}_N$作用于$d$维向量，其中$d = \prod_{n=1}^N d_n$。
• 该方法支持稀疏基础投影，实现低查询成本，并在应用过程中无需浮点运算。
• 提出了一种TRP的方差降低变体，可独立控制输出维度与等距性质量。
• 理论分析包括由两个映射组成的TRP的非渐近误差界，以及等距误差的方差分解。
• 该方法利用Rudelson（2008）关于行积随机矩阵的结果，建立了谱稳定性和几何稳定性。

实验结果

研究问题

• RQ1 能否利用较小随机投影的Khatri-Rao积构造出低内存、高效的降维映射？
• RQ2 与标准随机投影相比，TRP的内存使用量如何随分量映射数量变化？
• RQ3 当由两个较小映射组成时，TRP的理论误差界是什么？
• RQ4 TRP的方差降低版本是否能在不增加存储或查询成本的前提下提升等距性质量？
• RQ5 在合成数据和真实数据（如MNIST）上，TRP在实际应用中的表现如何，相较于高斯随机投影与标准随机投影？

主要发现

• TRP在合成数据与MNIST数据上均实现了与高斯随机投影相当的性能，同时显著降低了内存使用。
• TRP的内存使用量随分量映射数$N$呈$√[N]{d}$增长，对高维数据可实现显著节省。
• 方差降低的TRP变体在所有实验中均优于标准TRP与高斯RP，尤其在张量阶数$N$增大时优势更明显。
• 对于4阶张量（$100^4$），当$k=25$时，TRP的相对误差在95%置信区间内显著低于标准方法。
• 理论分析证实，TRP是一种可调精度的近似等距映射，且方差随$k$增加而衰减。
• 实验结果表明，TRP保持了低查询成本，并与稀疏、快速可应用的基础投影兼容。