[论文解读] Tensor sparsification via a bound on the spectral norm of random tensors

Nam H. Nguyen, Petros Drineas+1 more|arXiv (Cornell University)|May 26, 2010

Tensor decomposition and applications参考文献 29被引用 12

一句话总结

本文提出了一种新颖的张量稀疏化算法，通过按元素大小平方的概率随机保留张量中的元素，同时将小值元素置零，从而保持张量的谱范数。核心贡献是为随机张量建立了一种新的集中不等式，使得首次能够对张量稀疏化中的谱范数提供理论保证，误差界依赖于张量的Frobenius范数和维度。

ABSTRACT

Given an order-$d$ tensor $ ensor A \in \R^{n imes n imes... imes n}$, we present a simple, element-wise sparsification algorithm that zeroes out all sufficiently small elements of $ ensor A$, keeps all sufficiently large elements of $ ensor A$, and retains some of the remaining elements with probabilities proportional to the square of their magnitudes. We analyze the approximation accuracy of the proposed algorithm using a powerful inequality that we derive. This inequality bounds the spectral norm of a random tensor and is of independent interest. As a result, we obtain novel bounds for the tensor sparsification problem.

研究动机与目标

• 为解决随机张量缺乏测度集中不等式的问题，这限制了张量稀疏化理论分析的进展。
• 开发一种适用于高阶张量的实际逐元素稀疏化算法，以最小化非零元素数量，同时保持谱范数的准确性。
• 利用熵-集中权衡关系，推导出一种新的随机张量谱范数界，从而实现严格的误差分析。
• 在谱范数下建立张量稀疏化首次可证明的近似保证，并明确依赖于张量大小和稀疏度。
• 将现有的矩阵稀疏化技术推广至高阶张量，兼具理论严谨性与更优的误差界。

提出的方法

• 提出一种逐元素稀疏化策略，将小值元素置零，保持大值元素不变，并以与元素大小平方成比例的概率随机保留中等大小的元素。
• 基于熵和矩生成函数，引入一种新型随机张量集中不等式，实现对谱范数的有效控制。
• 通过将张量分解为二进制层级（dyadic levels）来界定谱范数，利用层级间的并集界进行控制。
• 对谱范数的高阶矩应用马尔可夫不等式，推导出概率误差界。
• 利用Frobenius范数和维度相关因子，推导出原始张量与稀疏化张量之间差的期望谱范数界。
• 在二进制层级上应用类似链式（chaining-type）的论证，以控制不同尺度下谱范数偏差的增长。

实验结果

研究问题

• RQ1 是否仅通过逐元素随机采样，就能为张量稀疏化建立可证明的谱范数界？
• RQ2 为最小化谱范数误差并降低稀疏度，张量元素的最优采样策略是什么？
• RQ3 能否在不依赖矩阵专用工具（如矩阵Bernstein不等式）的前提下，推导出随机张量的集中不等式？
• RQ4 谱范数中的误差如何依赖于张量阶数、大小和稀疏度水平？
• RQ5 在理论保证下，该方法在实际中是否能优于均匀采样或基于大小的采样策略？

主要发现

• 所提出的稀疏化算法在高概率 $ 1 - n^{-2d} $ 下，实现了形式为 $ \left\|\mathcal{A}-\widetilde{\mathcal{A}}\right\|_{2} \leq c'_{10}20^{d}\sqrt{\max\left\{1,\frac{\ln^{d+1}n}{n^{d/2-1}}\right\}}\sqrt{\frac{d^{3}n^{d/2}\ln^{d}n}{s}}\left\|\mathcal{A}\right\|_{F} $ 的谱范数误差界。
• 对于阶数为 $ d $ 的张量，误差界按 $ \sqrt{\frac{d^{3}n^{d/2}\ln^{d}n}{s}} $ 的方式缩放，显示出对维度、阶数和采样大小 $ s $ 的依赖性。
• 当 $ s $ 与 $ d^{3}n^{d/2}\ln^{d}n $ 成比例时，该方法在高概率下可实现谱范数的近似，确保误差可控。
• 当 $ d=2 $ 时，界简化为 $ \left\|\mathcal{A}-\widetilde{\mathcal{A}}\right\|_{2} \leq c'_{10}20^{d}d\sqrt{\frac{n\ln^{5}n}{s}}\left\|\mathcal{A}\right\|_{F} $，概率至少为 $ 1 - n^{-4} $。
• 本文首次建立了随机张量谱范数的集中不等式，该不等式基于熵-集中权衡推导，具有独立研究价值。
• 分析表明，通过基于矩的论证和在二进制层级上的链式方法，可以紧密控制原始张量与稀疏化张量之间谱范数的偏差。