[论文解读] On Concentration Inequalities for Random Matrix Products

Tarun Kathuria, Satyaki Mukherjee+1 more|arXiv (Cornell University)|Mar 13, 2020

Random Matrices and Applications参考文献 4被引用 4

一句话总结

本文提出了一个关于归一化随机矩阵乘积 $\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 的精确集中不等式，其中 $X_i$ 是均值为 $\mu$ 且算子范数有界于 $L$ 的独立同分布 $d \times d$ 随机矩阵。通过使用矩阵 Doob 鞍鞅和矩阵 Freedman 不等式，作者在常数因子范围内实现了关于 $n$ 和 $d$ 的最优依赖关系，尾部概率界为 $\mathsf{Pr}\left[\left\|f(X_1,\ldots,X_n) - e^{\mu}\right\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$，与矩阵 Bernstein 不等式在常数因子范围内一致。

ABSTRACT

Consider $n$ complex random matrices $X_1,\ldots,X_n$ of size $d imes d$ sampled i.i.d. from a distribution with mean $E[X]=μ$. While the concentration of averages of these matrices is well-studied, the concentration of other functions of such matrices is less clear. One function which arises in the context of stochastic iterative algorithms, like Oja's algorithm for Principal Component Analysis, is the normalized matrix product defined as $\prod\limits_{i=1}^{n}\left(I + \frac{X_i}{n} ight).$ Concentration properties of this normalized matrix product were recently studied by \cite{HW19}. However, their result is suboptimal in terms of the dependence on the dimension of the matrices as well as the number of samples. In this paper, we present a stronger concentration result for such matrix products which is optimal in $n$ and $d$ up to constant factors. Our proof is based on considering a matrix Doob martingale, controlling the quadratic variation of that martingale, and applying the Matrix Freedman inequality of Tropp \cite{TroppIntro15}.

研究动机与目标

• 为解决在 Oja 算法等随机迭代算法中归一化矩阵乘积缺乏紧致集中界的问题。
• 克服 Henriksen 和 Ward（2020）先前工作中使用分块和矩阵 Bernstein 不等式时出现的次优 $\log^2 n$ 因子。
• 建立 $\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 的集中结果，使其在 $n$ 和 $d$ 依赖关系上与矩阵 Bernstein 不等式对和的结果一致，仅相差常数因子。
• 通过构造一个下界示例，证明即使在标量情况下，方差代理中的 $L^2 e^{2L}$ 依赖关系也是必要的。

提出的方法

• 构造矩阵 Doob 鞍鞅 $Y_k = \mathbb{E}[f(X_1,\ldots,X_n) \mid X_1,\ldots,X_k] - \mathbb{E}[f(X_1,\ldots,X_n) \mid X_1,\ldots,X_{k-1}]$，以表示每次揭示 $X_i$ 时矩阵乘积的增量变化。
• 利用次乘性和 $\|X_i\|_{\mathsf{op}} \leq L$ 的界，将每个鞍鞅增量的谱范数控制在 $\frac{2Le^L}{n}$ 以内。
• 通过证明 $\mathbb{E}[Y_k Y_k^* \mid X_1,\ldots,X_{k-1}]$ 的范数至多为 $\frac{4L^2 e^{2L}}{n^2}$，从而控制可预测二次变差，得到总变差界为 $\frac{4L^2 e^{2L}}{n}$。
• 将矩阵 Freedman 不等式（Tropp, 2015）应用于该鞍鞅，其尾部界依赖于最大增量范数和总可预测变差。
• 在条件 $t \leq Le^L \sqrt{\log d / n}$ 下，推导出最终的集中不等式 $\mathsf{Pr}\left[\|f(X_1,\ldots,X_n) - e^\mu\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$。

实验结果

研究问题

• RQ1 是否可以对归一化矩阵乘积 $\prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 建立具有最优 $n$ 和 $d$ 依赖关系的集中界，使其与矩阵 Bernstein 不等式对和的结果一致？
• RQ2 Henriksen 和 Ward（2020）先前结果中的 $\log^2 n$ 因子损失是否不可避免，还是可通过不同证明技术避免？
• RQ3 在集中尾部中，矩阵范数界 $L$ 的正确依赖关系是什么？$L^2 e^{2L}$ 是否比 $L^2$ 更为必要？
• RQ4 基于鞍鞅的方法结合矩阵 Freedman 不等式是否能优于基于分块的方法？
• RQ5 即使在标量情况下，方差代理中的 $e^{O(L)}$ 因子是否不可避免？

主要发现

• 本文建立了关于归一化矩阵乘积 $f(X_1,\ldots,X_n) = \prod_{i=1}^n \left(I + \frac{X_i}{n}\right)$ 的集中不等式，其尾部界为 $\mathsf{Pr}\left[\|f(X_1,\ldots,X_n) - e^\mu\|_{\mathsf{op}} \geq t\right] \leq 2d \cdot \exp\left(-c n t^2 / (L^2 e^{2L})\right)$，在常数因子范围内对 $n$ 和 $d$ 是最优的。
• 该界通过矩阵 Doob 鞍鞅和矩阵 Freedman 不等式推导得出，避免了 Henriksen 和 Ward（2020）先前工作中存在的 $\log^2 n$ 因子损失。
• 每个鞍鞅增量的谱范数被控制在 $\frac{2Le^L}{n}$ 以内，且总可预测二次变差被控制在 $\frac{4L^2 e^{2L}}{n}$ 以内，这两者对于应用矩阵 Freedman 不等式至关重要。
• 通过构造一个 i.i.d. 的 $X_i$ 示例（取值为 0 和 $2L$，概率相等），证明了方差代理中 $L^2 e^{2L}$ 的依赖关系即使在标量乘积情况下也是必要的。
• 该结果在 $n$ 和 $d$ 依赖关系上与矩阵 Bernstein 不等式对和的结果一致，仅因方差代理中的 $e^{2L}$ 因子而存在常数因子差异。
• 作者通过标量反例确认，若仅以 $L$ 表达边界，则 $e^{O(L)}$ 的依赖关系无法消除。