[论文解读] Rigorous Guarantees for Tyler's M-estimator via quantum expansion

Cole Franks, Ankur Moitra|arXiv (Cornell University)|Jan 31, 2020

Statistical Mechanics and Entropy参考文献 28被引用 8

一句话总结

该论文通过将Tyler的形状矩阵M-estimator与算子缩放及量子膨胀联系起来，首次为椭球分布中Tyler的M-estimator建立了非渐近保证。证明了该估计器在维度上达到最优收敛速率（对数因子内），且其迭代算法在无需正则化的情况下线性收敛，解决了鲁棒统计中长期存在的开放问题。

ABSTRACT

Estimating the shape of an elliptical distribution is a fundamental problem in statistics. One estimator for the shape matrix, Tyler's M-estimator, has been shown to have many appealing asymptotic properties. It performs well in numerical experiments and can be quickly computed in practice by a simple iterative procedure. Despite the many years the estimator has been studied in the statistics community, there was neither a tight non-asymptotic bound on the rate of the estimator nor a proof that the iterative procedure converges in polynomially many steps. Here we observe a surprising connection between Tyler's M-estimator and operator scaling, which has been intensively studied in recent years in part because of its connections to the Brascamp-Lieb inequality in analysis. We use this connection, together with novel results on quantum expanders, to show that Tyler's M-estimator has the optimal rate up to factors logarithmic in the dimension, and that in the generative model the iterative procedure has a linear convergence rate even without regularization.

研究动机与目标

• 为Tyler估计器的理论理解填补关键空白，包括存在性、唯一性及有限样本性能。
• 首次在谱范数下为形状矩阵估计提供非渐近的样本复杂度上界，与高斯情况相当。
• 严格证明Tyler迭代算法在无正则化条件下的线性收敛性，解决长期悬而未决的开放问题。
• 建立Tyler估计器与算子缩放之间新颖的联系，利用量子信息理论中的量子膨胀工具。

提出的方法

• 发现Tyler估计器与算子缩放之间存在出人意料的联系，其中估计器作为由数据样本构造的线性算子的重标度结果。
• 利用量子膨胀理论——特别是由数据诱导的量子通道的谱间隙性质——分析收敛性和误差界。
• 应用量子膨胀的新结果，推导出逆指数失败概率及对数因子内的最优收敛速率。
• 利用算子缩放算法及其收敛保证，证明迭代过程可在多项式时间内以线性速率收敛。
• 引入归一化Sinkhorn迭代框架，分析迭代过程在算子范数下的收敛性。
• 使用矩阵集中与扰动界（通过引理C.1和C.2）将缩放算子的误差与形状矩阵估计的谱范数关联起来。

实验结果

研究问题

• RQ1 Tyler估计器存在与唯一的充分必要条件是什么？
• RQ2 能否建立谱范数估计的非渐近样本复杂度上界，使其与高斯情况相当？
• RQ3 Tyler的迭代算法在无正则化条件下是否以线性速率收敛？
• RQ4 如何应用量子膨胀理论以改进鲁棒协方差估计中的收敛保证？

主要发现

• 论文证明Tyler估计器在维度上达到最优收敛速率（对数因子内），误差界为 $ O(\frac{\text{polylog}(p)}{\text{sample size}}) $。
• 证明了计算Tyler估计器的迭代过程在算子范数下线性收敛，收敛时间为 $ O(\text{polylog}(1/\rho)) $（误差为 $ \rho $），且无需正则化。
• 证明Tyler估计器的存在性与唯一性等价于：不存在任何非平凡子空间包含占归一化数据点比例为 $ k/p $ 的子集，从而解决了长期悬而未决的开放问题。
• 在适当样本量条件下，估计器的失败概率为维度的逆指数，具体为 $ O(e^{-q(p,n,c/\text{log} p)}) $。
• 该方法在谱范数估计中实现了最优样本复杂度，与高斯情况相比仅在维度上存在对数因子差异。
• 分析首次严格证明了即使在无正则化条件下，迭代算法也能在多项式时间内以线性速率收敛。