[论文解读] Squared-Norm Empirical Process in Banach Space

Vincent Q. Vu, Jing Lei|arXiv (Cornell University)|Dec 4, 2013

Point processes and geometric inequalities参考文献 2被引用 3

一句话总结

本文将Mendelson关于实值函数上二次经验过程的上确界结果推广至巴拿赫空间取值函数的平方范数，利用对称化与泛化链泛函的次可加性。核心贡献是为经验平方范数的上确界偏差提供了高概率界，应用于以有限秩正定矩阵为指标的样本协方差矩阵中的线性过程。

ABSTRACT

This note extends a recent result of Mendelson on the supremum of a quadratic process to squared norms of functions taking values in a Banach space. Our method of proof is a reduction by a symmetrization argument and observation about the subadditivity of the generic chaining functional. We provide an application to the supremum of a linear process in the sample covariance matrix indexed by finite rank, positive definite matrices.

研究动机与目标

• 将Mendelson关于实值函数上二次过程的上确界界推广至取值于巴拿赫空间的函数。
• 为经验平方范数过程的上确界偏差建立高概率尾部界：$\left|\frac{1}{n}\sum_{i=1}^{n}\|g(X_i)\|^2 - \mathbb{E}\|g(X_i)\|^2\right|$。
• 将推导出的界应用于以有限秩正定矩阵为指标的样本协方差矩阵中的线性过程的上确界。
• 通过合适的度量下，利用奥尔利奇范数与泛化链泛函$\gamma_2$量化函数类$G$的复杂度。
• 为分析高维设定下涉及算子范数与随机矩阵统计的经验过程提供一个框架。

提出的方法

• 使用对称化论证，将巴拿赫空间取值的平方范数过程转化为可应用现有二次过程界的形式。
• 在函数类$G$上引入度量$d(g_1, g_2) = \|\|g_1(X_1) - g_2(X_1)\|\|_{\psi_2}$以度量复杂度。
• 利用泛化链泛函$\gamma_2$的次可加性，控制对称类并集的复杂度。
• 通过不等式$\|\|A^T Z\|\|_{\psi_2} \leq \|A\|_F \|Z\|_{\psi_2}$将$\|A^T X_1\|$的$\psi_2$-范数与$A$的Frobenius范数关联。
• 使用极大测度定理，以高斯过程的期望上确界$\mathbb{E} \sup_{A \in \mathcal{A}} \langle \mathcal{Z}, A \rangle$来界定$\gamma_2(G, d)$。
• 利用推导出的复杂度参数，为经验过程偏差建立尾部界，并将其应用于样本协方差矩阵。

实验结果

研究问题

• RQ1 巴拿赫空间中经验平方范数过程的上确界偏差能否以指数尾部概率进行有界？
• RQ2 函数类$G$的复杂度（通过$\gamma_2$与奥尔利奇范数度量）如何控制经验平方范数的偏差？
• RQ3 在对称化过程的背景下，泛化链泛函$\gamma_2$与度量熵的次可加性之间有何联系？
• RQ4 如何将经验平方范数过程的界应用于样本协方差矩阵中的线性过程？
• RQ5 矩阵$A$的Frobenius范数与随机向量$X_1$的$\psi_2$-范数在决定收敛速率中起什么作用？

主要发现

• 本文建立了经验平方范数过程上确界的高概率界：$\left|\frac{1}{n}\sum_{i=1}^{n}\|g(X_i)\|^2 - \mathbb{E}\|g(X_i)\|^2\right| \leq c_3 t \left\{ \frac{d_{\psi_1}(G) \gamma_2(G,d)}{\sqrt{n}} + \frac{\gamma_2^2(G,d)}{n} \right\}$，其概率至少为$1 - 2\exp(-c_2 t^{2/5})$。
• 对于$g(x) = A^T x$的线性过程，该界以$\sigma = \sup_{\|u\|_2=1} \|\langle X_1, u \rangle\|_{\psi_2}$、$\sup_{A \in \mathcal{A}} \|A\|_F$与$\mathbb{E} \sup_{A \in \mathcal{A}} \langle \mathcal{Z}, A \rangle$表示。
• 该界意味着$\mathbb{E} \sup_{A \in \mathcal{A}} |\langle S_n - \Sigma, AA^T \rangle| \leq c \left\{ \frac{\sigma^2 \sup_A \|A\|_F}{\sqrt{n}} \mathbb{E} \sup_A \langle \mathcal{Z}, A \rangle + \frac{\sigma^2}{n} \left( \mathbb{E} \sup_A \langle \mathcal{Z}, A \rangle \right)^2 \right\}$。
• 该结果在矩阵类$\mathcal{A}$对称且$X_1$具有零均值、且通过$\psi_2$-范数具有类似次高斯尾部的条件下成立。
• 在样本协方差矩阵上的应用表明，经验协方差与真实协方差之间的偏差由矩阵类$\mathcal{A}$的复杂度所控制。
• 所导出的界是紧致的，其在形式上与高斯过程的已知速率一致，并通过奥尔利奇范数将结果扩展至非高斯、重尾设定。