[论文解读] Sum-of-Squares Certificates for Maxima of Random Tensors on the Sphere

Vijay Bhattiprolu, Venkatesan Guruswami+1 more|arXiv (Cornell University)|May 3, 2016

Complexity and Algorithms in Graphs参考文献 16被引用 14

一句话总结

本文研究了随机张量在单位球面上的最大值的和方（SoS）层次结构在证明上界时的表现。结果表明，对于随机阶数为 q 的张量，q 阶 SoS 提供的认证界与真实最大值之间的差距在 (n/q)^{q/4 - 1/2} 因子之内，优于以往结果，并且在低阶项意义下达到了最佳可能性能。

ABSTRACT

For an $n$-variate order-$d$ tensor $A$, define $ A_{\max} := \sup_{\| x \|_2 = 1} \langle A , x^{\otimes d} angle$ to be the maximum value taken by the tensor on the unit sphere. It is known that for a random tensor with i.i.d $\pm 1$ entries, $A_{\max} \lesssim \sqrt{n\cdot d\cdot\log d}$ w.h.p. We study the problem of efficiently certifying upper bounds on $A_{\max}$ via the natural relaxation from the Sum of Squares (SoS) hierarchy. Our results include: - When $A$ is a random order-$q$ tensor, we prove that $q$ levels of SoS certifies an upper bound $B$ on $A_{\max}$ that satisfies \[ B ~~~~\leq~~ A_{\max} \cdot \biggl(\frac{n}{q^{\,1-o(1)}}\biggr)^{q/4-1/2} \quad ext{w.h.p.} \] Our upper bound improves a result of Montanari and Richard (NIPS 2014) when $q$ is large. - We show the above bound is the best possible up to lower order terms, namely the optimum of the level-$q$ SoS relaxation is at least \[ A_{\max} \cdot \biggl(\frac{n}{q^{\,1+o(1)}}\biggr)^{q/4-1/2} \ . \] - When $A$ is a random order-$d$ tensor, we prove that $q$ levels of SoS certifies an upper bound $B$ on $A_{\max}$ that satisfies \[ B ~~\leq ~~ A_{\max} \cdot \biggl(\frac{\widetilde{O}(n)}{q}\biggr)^{d/4 - 1/2} \quad ext{w.h.p.} \] For growing $q$, this improves upon the bound certified by constant levels of SoS. This answers in part, a question posed by Hopkins, Shi, and Steurer (COLT 2015), who established the tight characterization for constant levels of SoS.

研究动机与目标

• 理解和方（SoS）层次结构在证明随机张量在单位球面上最大值的上界时的性能。
• 通过使用更高阶的 SoS 松弛，改进现有对随机张量最大值的认证界。
• 确定 q 阶 SoS 对于随机阶数为 q 的张量所能实现的最佳近似保证。
• 解决 Hopkins、Shi 和 Steurer（COLT 2015）提出的问题，即关于随着层次增长，SoS 认证的紧致性。
• 证明 q 阶 SoS 松弛在随机张量的最大值认证中实现了运行时间与近似质量之间的最优权衡。

提出的方法

• 使用和方（SoS）层次结构，将在单位球面上最大化张量的优化问题转化为一个由阶数 q 参数化的半定规划序列。
• 通过研究次数不超过 q 的多项式上的关联矩矩阵和伪期望，分析 q 阶 SoS 松弛。
• 应用迹方法来界定由张量元素构成的随机矩阵的谱范数，利用矩计算和非零期望的组合计数。
• 采用张量积的多重线性分解，并使用组合论证来计算对乘积期望有贡献的配置数量。
• 通过分析满足度约束和重数条件的有效索引配置数量，推导出 SoS 松弛值的上界。
• 使用集中不等式和马尔可夫不等式，证明构造矩阵的谱范数以高概率有界，从而得出紧致的认证界。

实验结果

研究问题

• RQ1 使用 q 阶 SoS 层次结构，能够高效认证随机张量在单位球面上最大值的最优上界是什么？
• RQ2 随着 q 增大，q 阶 SoS 松弛的性能与随机张量的真实最大值相比如何？
• RQ3 SoS 层次结构能否对阶数为 q 的随机张量实现接近最优的认证界（忽略低阶项）？
• RQ4 对于增长的 q，q 阶 SoS 松弛是否优于常数阶 SoS 界，特别是在 q 较大的情形下？
• RQ5 q 阶 SoS 松弛是否是认证随机张量最大值的最紧界，还是更高阶能获得更好的界？

主要发现

• 对于具有独立同分布 ±1 元素的随机阶数为 q 的张量，q 阶 SoS 松弛以高概率认证了一个上界 B，满足 B ≤ 𝒜_max · (n / q^{1−o(1)})^{q/4 − 1/2}。
• 该界优于 Montanari 和 Richard（NIPS 2014）对大 q 的结果，提供了更紧的近似保证。
• q 阶 SoS 松弛实现的界在低阶项意义下是最优的，因为 q 阶松弛的最优值至少为 𝒜_max · (n / q^{1+o(1)})^{q/4 − 1/2}。
• 对于随机阶数为 d 的张量，q 阶 SoS 松弛以高概率认证了一个上界 B，满足 B ≤ 𝒜_max · (Õ(n)/q)^{d/4 − 1/2}，优于常数阶 SoS，尤其在 q 增大时。
• 本文通过证明 SoS 层次结构在低阶因子意义下实现了对随机张量认证的最紧界，从而解决了 Hopkins、Shi 和 Steurer（COLT 2015）提出的问题。
• 该分析确立了 SoS 层次结构在认证单位球面上随机张量最大值时，提供了目前最佳的运行时间（n^{O(q)}）与近似质量之间的权衡。