[论文解读] Note on sampling without replacing from a finite collection of matrices

David Groß, Vincent Nesme|arXiv (Cornell University)|Jan 15, 2010

Mathematical Analysis and Transform Methods参考文献 13被引用 64

一句话总结

该论文证明了此前仅针对有放回采样推导出的随机矩阵和的算子Chernoff型界限，同样适用于从有限个厄米特矩阵中无放回采样的情形。通过经典的Hoeffding论证，作者表明在无放回采样下，和的矩生成函数被有放回采样下的矩生成函数随机支配，从而保持了低秩矩阵恢复算法中至关重要的浓度不等式。

ABSTRACT

This technical note supplies an affirmative answer to a question raised in a recent pre-print [arXiv:0910.1879] in the context of a "matrix recovery" problem. Assume one samples m Hermitian matrices X_1, ..., X_m with replacement from a finite collection. The deviation of the sum X_1+...+X_m from its expected value in terms of the operator norm can be estimated by an "operator Chernoff-bound" due to Ahlswede and Winter. The question arose whether the bounds obtained this way continue to hold if the matrices are sampled without replacement. We remark that a positive answer is implied by a classical argument by Hoeffding. Some consequences for the matrix recovery problem are sketched.

研究动机与目标

• 解决矩阵恢复理论中的一项技术空白：无放回采样引入依赖性，使分析复杂化。
• 证明针对独立（有放回）矩阵采样的现有浓度界限在无放回采样下依然有效。
• 为在无放回设定下使用有放回界限提供严格的理论依据，简化算法分析。
• 支持依赖算子范数浓度的矩阵恢复算法的有效性，特别是在量子态层析与低秩矩阵重构的背景下。

提出的方法

• 应用Hoeffding的经典论证，证明无放回采样在随机支配性上强于有放回采样。
• 构造一个随机函数Z，通过两阶段随机化过程，从无放回样本中生成有放回样本。
• 利用X与Z(Y)同分布的性质，将函数关于和的期望相等化。
• 对矩阵和的凸函数（特别是矩阵指数的迹）应用Jensen不等式。
• 利用c ↦ tr(exp(λc))在厄米特矩阵上的凸性，将标量浓度结果推广至矩阵情形。
• 推导出矩生成函数的支配关系：M_Y(λ) ≤ M_X(λ)，意味着有放回采样的尾部界限适用于无放回采样。

实验结果

研究问题

• RQ1 能否将独立随机矩阵和的算子Chernoff界限推广至无放回采样情形？
• RQ2 有放回采样对无放回采样的随机支配性是否保持了矩阵值和的浓度不等式？
• RQ3 当实际采样为无放回时，是否可以合理地在矩阵恢复算法分析中使用有放回的界限？
• RQ4 有放回与无放回采样下，和的矩生成函数之间存在何种关系？
• RQ5 经典概率不等式（如Hoeffding不等式）能否被适配至矩阵值随机变量，以在无放回采样下保持浓度性质？

主要发现

• 无放回采样下矩阵和的矩生成函数被有放回采样下的矩生成函数随机支配。
• 因此，Ahlswede与Winter的算子Chernoff界限在无放回采样下依然成立。
• 算子范数浓度界限Pr[‖S‖ > t] ≤ 2n exp(−t²/(4V))（当t ≤ 2V/c时）与Pr[‖S‖ > t] ≤ 2n exp(−t/(2c))（当t较大时）在两种采样方案下均成立。
• 采样算子的算子范数界限在无放回设定下依然有效，避免了使用最坏情况估计的需要。
• 基于随机采样的矩阵恢复算法分析可安全地使用有放回界限，即使实际采样为无放回。
• 该结果为矩阵恢复中的简化分析框架（如Gross, 2009年的工作）提供了理论依据，且在无放回情形下不失一般性。