[论文解读] Upper bounds on product and multiplier empirical processes

Shahar Mendelson|arXiv (Cornell University)|Oct 29, 2014

Statistical Methods and Inference参考文献 15被引用 7

一句话总结

本文通过一种新颖的塔拉格朗德 $\gamma$-函数与链式方法的变体，建立了乘子过程与乘积经验过程的上确界在高概率下的上界。其推导的界依赖于索引类 $F$ 和 $H$ 的几何结构，明确体现了对 $L_q$-范数与度量熵的依赖，改进了对数凹与次高斯情形下的先前结果。

ABSTRACT

We study two empirical process of special structure: firstly, the centred multiplier process indexed by a class $F$, $f o \left|\sum_{i=1}^N (ξ_i f(X_i) - \E ξf) ight|$, where the i.i.d. multipliers $(ξ_i)_{i=1}^N$ need not be independent of $(X_i)_{i=1}^N$, and secondly, $(f,h) o \left|\sum_{i=1}^N (f(X_i)h(X_i)-\E f h) ight|$, the centred product process indexed by the classes $F$ and $H$. We use chaining methods to obtain high probability upper bounds on the suprema of the two processes using a natural variation of Talagrand's $γ$-functionals.

研究动机与目标

• 推导当乘子不一定与设计变量独立时，乘子与乘积经验过程上确界的高概率上界。
• 将基于链式的方法扩展至具有依赖结构的非高斯、非独立同分布的乘子与乘积过程。
• 提出塔拉格朗德 $\gamma$-函数的改进版本，直接捕捉 $F$ 与 $H$ 的复杂性，而非通过 $\xi F$ 或 $F \cdot H$ 等变换类。
• 通过矩比较与度量熵，改进在等分布、无条件、对数凹随机向量背景下的现有尾部界。

提出的方法

• 通过基于 $L_{(u^2 2^s)}$-范数与 $L_q$-范数的新复杂性参数 $\tilde{\Lambda}_{s_0,u}(F)$，将通用链式技术适配于乘子与乘积过程。
• 利用对称化与矩比较，通过满足改进版假设 2.2 的坐标投影 $P_\sigma F$ 控制经验过程。
• 采用具有分层划分 $F_s$ 的链式论证，通过 $\gamma_{s_0,2}(F, L_q)$ 与 $2^{s_0/2} \sup_f \|f\|_{L_q}$ 限制上确界。
• 通过 $j_s = j_s(2p,q)$ 的截断方案，控制增量 $\Delta_s f$ 与随机样本上投影 $\pi_s f$ 的 $L_p$-范数。
• 利用鲍勃科夫-纳扎罗夫定理，以指数向量随机支配对数凹向量，从而在 $\ell_\infty^n$ 与 $\ell_2^n$ 中实现矩估计。
• 通过在 $s_0$ 与 $u$ 上取并集界，推导出高概率界，最终形式包含 $u^2 d_2(T) E(T)/\sqrt{N}$ 与 $u^4 E^2(T)/N$。

实验结果

研究问题

• RQ1 当乘子 $\xi_i$ 与设计变量 $X_i$ 相关时，能否为乘子过程建立高概率上界？
• RQ2 如何将链式方法适配于乘积过程 $\sum_i f(X_i)h(X_i) - \mathbb{E}fh$ 的上确界控制，使其依赖于 $F$ 与 $H$ 的几何特征，而非 $F \cdot H$ 的特征？
• RQ3 在非独立同分布与非高斯情形下，能捕捉乘子与乘积过程行为的最优复杂性参数为何？
• RQ4 基于 $L_q$-范数的 $\gamma$-函数与经典基于 $\psi_2$ 的复杂性项在对数凹与次高斯情形下相比如何？
• RQ5 能否利用 $\ell_2^n$ 与 $\ell_\infty^n$ 中的度量熵，为二次经验过程 $\sum_i f^2(X_i) - \mathbb{E}f^2$ 推导出改进的尾部界？

主要发现

• 以至少 $1 - 2\exp(-c_1 u^2 2^{s_0})$ 的概率，坐标投影 $P_\sigma F$ 满足 $p=1$ 与 $p=2$ 时的假设 2.2 条件，从而实现链式控制。
• 复杂性参数 $\Lambda(P_\sigma F)$ 被界定为 $u \tilde{\Lambda}_{s_0,u}(F)$，其中 $\tilde{\Lambda}_{s_0,u}(F) = \Lambda_{s_0,u}(F) + 2^{s_0/2} \sup_f \|f\|_{(u^2 2^s)}$，提供了对复杂性的精细化度量。
• 量 $\Theta(P_\sigma F)$ 被界定为 $\gamma_{s_0,2}(F, L_q) + 2^{s_0/2} \sup_f \|f\|_{L_q}$，而该量本身又受 $\sqrt{q} \tilde{\Lambda}_{s_0,2}(F)$ 上界控制。
• 对于等分布、无条件、对数凹向量，有 $\tilde{\Lambda}_{s_0,u}(F_T) \lesssim u \gamma_1(T, \ell_\infty^n) + \gamma_2(T, \ell_2^n)$，其与高斯过程的期望上确界相当。
• 二次过程的最终高概率界为 $\sup_{t \in T} \left| \frac{1}{N} \sum_i \langle X_i, t \rangle^2 - \mathbb{E} \langle X, t \rangle^2 \right| \leq c_2 \left( u^2 d_2(T) \frac{E(T)}{\sqrt{N}} + u^4 \frac{E^2(T)}{N} \right)$，优于先前估计。
• 该界通过将 [14] 中第一项的 $u^4$ 替换为 $u^2$，并采用更精细的复杂性项，改进了概率估计。