[论文解读] Weak transport inequalities and applications to exponential inequalities and oracle inequalities

Olivier Wintenberger|arXiv (Cornell University)|Jul 20, 2012

Markov Chains and Monte Carlo Methods参考文献 38被引用 5

一句话总结

本文基于欧氏范数引入弱运输不等式，以在依赖时间序列设定下建立无维度集中不等式和快速收敛速率。通过扩展马顿的框架并使用路径耦合技术，推导出新的指数不等式和oracle不等式，即使在经典收缩假设不成立时，也能实现 $n^{-1}$ 的快速收敛速率，其应用涵盖弱依赖条件下的普通最小二乘估计。

ABSTRACT

We extend the dimension free Talagrand inequalities for convex distance \cite{talagrand:1995} using an extension of Marton's weak transport \cite{marton:1996a} to other metrics than the Hamming distance. We study the dual form of these weak transport inequalities for the euclidian norm and prove that it implies sub-gaussianity and convex Poincaré inequality \cite{bobkov:gotze:1999a}. We obtain new weak transport inequalities for non products measures extending the results of Samson in \cite{samson:2000}. Many examples are provided to show that the euclidian norm is an appropriate metric for classical time series. Our approach, based on trajectories coupling, is more efficient to obtain dimension free concentration than existing contractive assumptions \cite{djellout:guillin:wu:2004,marton:2004}. Expressing the concentration properties of the ordinary least square estimator as a conditional weak transport problem, we derive new oracle inequalities with fast rates of convergence in dependent settings.

研究动机与目标

• 将无维度集中不等式从乘积测度和汉明距离推广至基于弱运输不等式的更广范围。
• 克服非独立同分布设定下收缩假设和谱间隙条件的局限性。
• 在弱依赖时间序列中推导出oracle不等式中 $n^{-1}$ 的快速收敛速率。
• 建立弱运输不等式与次高斯性或凸庞加莱不等式之间的联系。
• 为不满足标准混合或收缩条件的经典时间序列模型提供适用的框架。

提出的方法

• 提出一类新的弱运输不等式 $\tilde{T}_{p,d}(C)$，以欧氏范数作为度量 $d$，推广了马顿原始公式的框架。
• 应用对偶性证明，表明欧氏范数下的弱运输不等式蕴含次高斯尾部性质和凸庞加莱不等式。
• 采用路径耦合技术推导无维度集中不等式，无需依赖收缩或谱间隙假设。
• 利用Sion极小化极大定理，建立弱运输不等式与特定指数矩界之间的等价关系。
• 通过将普通最小二乘估计表述为条件弱运输问题，将该框架应用于该估计器。
• 在 $\tilde{\Gamma}$-弱依赖条件下，通过控制方差项的Bernstein型条件，推导出具有快速 $n^{-1}$ 收敛速率的oracle不等式。

实验结果

研究问题

• RQ1 基于欧氏范数的弱运输不等式是否能在非独立同分布设定下实现无维度集中？
• RQ2 所提出的框架是否能在依赖时间序列的oracle不等式中实现 $n^{-1}$ 的快速收敛速率？
• RQ3 在方差控制与多余风险估计方面，欧氏度量与汉明距离相比有何差异？
• RQ4 弱运输不等式是否可用于避免马尔可夫时间序列中对收缩或谱间隙条件的需求？
• RQ5 $\tilde{\Gamma}$-弱依赖条件在新运输框架下实现快速速率的过程中起什么作用？

主要发现

• 欧氏范数下弱运输不等式的对偶形式蕴含次高斯性与凸庞加莱不等式。
• 所提出的弱运输不等式 $\tilde{T}_{2,d}(C)$ 对非乘积测度实现无维度集中，扩展了Samson的结果。
• 在 $\tilde{\Gamma}$-弱依赖条件下，即使在无收缩假设下，也推导出具有快速 $n^{-1}$ 收敛速率的新oracle不等式。
• 多余风险 $Q[\overline{R}(\hat{\theta})]$ 出现在集中不等式中，使得控制比Tsirel’son型不等式更紧密。
• 该框架即使在方差项受随机再生周期扰动时，仍能实现与独立同分布情形相当的快速收敛速率。
• 与经典收缩耦合或Hoeffding型不等式相比，该方法更高效，后者仅能实现 $n^{-1/2}$ 的收敛速率。