[论文解读] Tensor Expander Chernoff Bounds

Shih Yu Chang|arXiv (Cornell University)|May 13, 2021

Tensor decomposition and applications参考文献 22被引用 4

一句话总结

本文通过基于对数大比分的张量范数不等式，将矩阵展开式切尔诺夫界推广至张量，实现了对多项式函数的随机张量和的Ky Fan范数的尾部界估计。该研究消除了零和约束，并将集中性扩展至多维数据，为高阶随机系统提供了更紧致的界。

ABSTRACT

The Chernoff bound is an important inequality relation in probability theory. The original version of the Chernoff bound is to give an exponential decreasing bound on the tail distribution of sums of independent random variables. Recent years, several works have been done by extending the original version of the Chernoff bound to high-dimensional random objects, e.g., random matrices, or/and to consider the relaxation that there is no requirement of independent assumptions among random objects. In this work, we generalize the matrix expander Chernoff bound studied by Garg et al. at work: A Matrix Expander Chernoff Bound, to tensor expander Chernoff bounds. Our main tool is to develop new tensor norm inequalities based on log-majorization techniques. These new tensor norm inequalities are used to bound the expectation of Ky Fan norm of the random tensor exponential function, then tensor expander Chernoff bounds can be established. Compared with the matrix expander Chernoff bound, the tensor expander Chernoff bounds proved at this work contributes following aspects: (1) the random objects dimensions are increased from matrices (two-dimensional data array) to tensors (multidimensional data array); (2) this bound generalizes the identity map of the random objects summation to any polynomial function of the random objects summation; (3) Ky Fan norm, instead only the maximum or the minimum eigenvalues, for the function of the random objects summation is considered; (4) we remove the restriction about the summation of all mapped random objects is zero, which is required in the matrix expander Chernoff bound derivation.

研究动机与目标

• 将矩阵展开式切尔诺夫界推广至高阶随机张量，以实现对多维数据结构的集中不等式。
• 基于对数大比分，开发新的张量范数不等式，以处理随机张量指数函数的Ky Fan范数。
• 放宽先前基于矩阵的界所要求的随机张量和的零和约束。
• 将求和函数从恒等函数推广至任意多项式函数，提升其在复杂系统中的适用性。
• 通过展开图建立弱依赖假设下张量范数尾部界的框架。

提出的方法

• 利用对数大比分技术推导新型张量范数不等式，以控制随机张量指数函数的Ky Fan范数的期望。
• 将这些不等式应用于通过展开图控制马尔可夫依赖下张量和的矩生成函数。
• 通过将谱范数替换为Ky Fan k-范数，将矩阵展开式切尔诺夫界推广至张量。
• 使用高斯积分近似，通过在矩生成函数参数 t 上进行最小化来界定尾部概率。
• 采用测度变换技术，利用次高斯近似界定张量和的分布。
• 在规则展开图结构下，推导出随机张量和的Ky Fan k-范数的尾部界。

实验结果

研究问题

• RQ1 在弱依赖假设下，能否将矩阵展开式切尔诺夫界推广至随机张量？
• RQ2 当底层随机对象非独立时，如何界定张量和的Ky Fan范数？
• RQ3 如何基于对数大比分推导张量范数不等式，以控制张量和的指数矩？
• RQ4 能否在保留集中界的同时，移除对随机张量和的零和约束？
• RQ5 在基于展开图的依赖结构下，张量和的多项式函数行为如何？

主要发现

• 本文在规则展开图结构下，建立了随机张量和的Ky Fan k-范数的张量展开式切尔诺夫界。
• 该界消除了先前矩阵展开式界中要求所有映射随机张量之和为零的关键限制。
• 提出了一类基于对数大比分的新张量范数不等式，实现了对张量和指数矩的控制。
• 尾部界适用于张量和的多项式函数，而不仅限于恒等函数，增强了通用性。
• 最终界表达为次高斯尾部形式：$\mathrm{Pr}\left(\left\|\sum g(v_j)\right\|_{(k)} \geq \vartheta\right) \leq C\left(k + \sqrt{\frac{\mathbb{I}_1^M - k}{k}}\right) \exp\left(-\frac{\vartheta^2}{8\sigma^2 r^2} + \cdots \right)$，显式依赖于 $\kappa$、$\lambda$ 和 $\sigma$。
• 当函数 $f$ 为恒等函数时，界最紧致，此时得到推论 4.5，形式简洁且为次高斯分布。