[论文解读] Notes on Computational Hardness of Hypothesis Testing: Predictions using the Low-Degree Likelihood Ratio

Dmitriy Kunisky, Alexander S. Wein+1 more|arXiv (Cornell University)|Jul 26, 2019

Machine Learning and Algorithms被引用 14

一句话总结

本文引入低阶似然比方法作为高维假设检验中计算困难性的预测工具，表明低阶似然比的二阶矩可指示问题是否在统计上可行但计算上困难。该方法提供了一个自包含的框架，可预测精确的计算阈值（如张量PCA和社区检测问题），而无需依赖平方和层次结构，并建立了与谱方法及阈值多项式之间的正式联系。

ABSTRACT

These notes survey and explore an emerging method, which we call the low-degree method, for predicting and understanding statistical-versus-computational tradeoffs in high-dimensional inference problems. In short, the method posits that a certain quantity -- the second moment of the low-degree likelihood ratio -- gives insight into how much computational time is required to solve a given hypothesis testing problem, which can in turn be used to predict the computational hardness of a variety of statistical inference tasks. While this method originated in the study of the sum-of-squares (SoS) hierarchy of convex programs, we present a self-contained introduction that does not require knowledge of SoS. In addition to showing how to carry out predictions using the method, we include a discussion investigating both rigorous and conjectural consequences of these predictions. These notes include some new results, simplified proofs, and refined conjectures. For instance, we point out a formal connection between spectral methods and the low-degree likelihood ratio, and we give a sharp low-degree lower bound against subexponential-time algorithms for tensor PCA.

研究动机与目标

• 开发一种自包含且易于理解的方法，用于预测高维推断问题中统计与计算之间的权衡。
• 证明低阶似然比的二阶矩可作为计算困难性的预测指标，即使不了解平方和层次结构亦可。
• 建立低阶方法与现有算法技术（如谱方法和阈值多项式）之间的正式联系。
• 提出更精细的猜想与新结果，包括对张量PCA问题中亚指数时间算法的严格下界。
• 将该方法的应用范围扩展至估计与认证问题，表明低阶测试困难性的证据可推导出恢复与认证的困难性。

提出的方法

• 提出低阶似然比（LDLR）作为计算复杂性的代理，定义为似然比在低次多项式上的投影。
• 利用LDLR的二阶矩预测假设检验问题是否可在亚指数时间内求解，当该值达到1时标志计算不可行。
• 将该方法应用于加性高斯噪声模型，计算经典量与低阶量以比较统计极限与计算极限。
• 证明谱方法通常是最优的：当LDLR的二阶矩超过1时，谱方法恰好能成功。
• 引入“安静植入”（quiet planting）概念，将认证问题转化为假设检验问题，利用低阶预测论证其困难性。
• 运用超展开性（hypercontractivity）与多项式下界，推导出低阶猜想的严格后果，包括对阈值化与谱算法的下界。

实验结果

研究问题

• RQ1 低阶似然比的二阶矩能否预测高维假设检验问题中的计算困难性？
• RQ2 低阶方法与谱方法及其他标准算法方法之间有何关系？
• RQ3 张量PCA的计算复杂性如何？低阶方法能否为亚指数时间算法提供精确下界？
• RQ4 低阶预测在社区检测与矩阵恢复等问题中与已知阈值的吻合程度如何？
• RQ5 低阶方法能否用于预测认证问题（如验证结构化PCA性质）的困难性？

主要发现

• 低阶似然比的二阶矩可作为计算困难性的预测指标：若其有界，则不存在高效算法；若其发散，则可能存在多项式时间算法。
• 该方法复现了社区检测中的凯斯滕-斯蒂格姆阈值，证实其对精确计算相变的预测能力。
• 为张量PCA问题建立了对亚指数时间算法的严格下界，表明在统计阈值以下，任何此类算法均无法成功。
• 低阶方法与谱方法存在正式联系：当主特征值发生相变时，主特征向量通常也发生相变，暗示谱算法是最优的。
• 低阶方法对假设检验的预测，可为恢复与认证问题提供启发式困难性证据，尽管这些问题是非等价的。
• 该方法提供了一个统一框架，能匹配多种问题中广泛接受的计算阈值，包括植 clique 问题、密集子图检测与随机CSPs。