[论文解读] Tensor Prediction, Rademacher Complexity and Random 3-XOR.

Boaz Barak, Ankur Moitra|arXiv (Cornell University)|Jan 26, 2015

Sparse and Compressive Sensing Techniques参考文献 78被引用 27

一句话总结

本文研究了使用平方和（SoS）层次结构的张量预测，表明六层SoS算法在 $ m = n^{3/2} $ 个观测下能够成功，而当 $ m = n^{3/2 - \epsilon} $ 时则需要 $ n^{2\epsilon} $ 轮——这意味着需要中等程度的指数时间。通过与随机3-XOR反驳问题及SoS范数的Rademacher复杂度的联系，本文建立了紧密的计算-统计权衡。

ABSTRACT

Here we study the tensor prediction problem, where the goal is to accurately predict the entries of a low rank, third-order tensor (with noise) given as few observations as possible. We give algorithms based on the sixth level of the sum-of-squares hierarchy that work with roughly $m = n^{3/2}$observations, and we complement our result by showing that any attempt to solve tensor prediction with $m = n^{3/2 - \epsilon}$ observations through the sum-of-squares hierarchy needs $n^{2 \epsilon}$ rounds and consequently would run in moderately exponential time. In contrast, information theoretically roughly $m = n$ observations suffice. This work is part of a broader agenda of studying computational vs. statistical tradeoffs through the sum-of-squares hierarchy. In particular, for linear inverse problems (such as tensor prediction) the natural sum-of-squares relaxation gives rise to a sequence of norms. Our approach is to characterize their Rademacher complexity. Moreover, both our upper and lower bounds are based on connections between this, and the task of strongly refuting random $3$-XOR formulas, and the resolution proof system.

研究动机与目标

• 理解在平方和层次结构下张量预测的计算极限。
• 表征低秩张量恢复中平方和范数的Rademacher复杂度。
• 在张量预测中建立样本复杂度与计算成本之间的紧密权衡。
• 通过证明复杂性将张量预测与强反驳随机3-XOR公式的难题联系起来。

提出的方法

• 分析平方和层次结构的第六层，设计出在 $ m = n^{3/2} $ 个观测下高效求解张量预测的算法。
• 利用Rademacher复杂度表征线性逆问题中平方和松弛的泛化误差。
• 建立张量预测与强反驳随机3-XOR公式任务之间的对偶性。
• 通过证明 $ m = n^{3/2 - \epsilon} $ 个观测需要 $ n^{2\epsilon} $ 轮SoS，推导出下界，意味着指数时间。
• 利用解析证明系统将反驳随机3-XOR公式的困难性形式化为计算不可行性的代理。
• 将张量预测中的统计-计算差距与认证随机3-XOR实例不可满足性的复杂性联系起来。

实验结果

研究问题

• RQ1 平方和层次结构解决张量预测所需的最少样本数是多少？
• RQ2 平方和范数的Rademacher复杂度如何影响张量恢复中的泛化性能？
• RQ3 张量预测的计算困难性能否被归约为反驳随机3-XOR公式的难题？
• RQ4 在张量预测中，样本大小与平方和层次结构中轮数之间的权衡是什么？
• RQ5 解析证明系统如何通过3-XOR反驳帮助证明张量预测的下界？

主要发现

• 基于平方和层次结构第六层的算法在 $ m = n^{3/2} $ 个观测下成功预测低秩张量。
• 任何尝试在 $ m = n^{3/2 - \epsilon} $ 个观测下求解张量预测的尝试，都需要 $ n^{2\epsilon} $ 轮平方和层次结构，导致中等指数时间。
• 张量预测的信息论样本复杂度为 $ m = n $，凸显了统计-计算差距。
• 平方和范数的Rademacher复杂度得到表征，并被证明是理解张量预测泛化性的核心。
• 张量预测的计算困难性与强反驳随机3-XOR公式的难度紧密相连。
• 解析证明系统为证明平方和层次结构所需轮数的下界提供了正式框架。