[论文解读] Stable Algorithms Lower Bounds for Estimation

Xifan Yu, Ilias Zadik|arXiv (Cornell University)|Mar 23, 2026

Machine Learning and Algorithms被引用 0

一句话总结

论文将 MMSE 不连续性（不稳定性）与估计任务中稳定算法的失败联系起来，证明在 planted shortest path、random linear code、Gaussian subset sum 三个典型任务中与多项式时间方法的分离。

ABSTRACT

In this work, we show that for all statistical estimation problems, a natural MMSE instability (discontinuity) condition implies the failure of stable algorithms, serving as a version of OGP for estimation tasks. Using this criterion, we establish separations between stable and polynomial-time algorithms for the following MMSE-unstable tasks (i) Planted Shortest Path, where Dijkstra's algorithm succeeds, (ii) random Parity Codes, where Gaussian elimination succeeds, and (iii) Gaussian Subset Sum, where lattice-based methods succeed. For all three, we further show that all low-degree polynomials are stable, yielding separations against low-degree methods and a new method to bound the low-degree MMSE. In particular, our technique highlights that MMSE instability is a common feature for Shortest Path and the noiseless Parity Codes and Gaussian subset sum. Last, we highlight that our work places rigorous algorithmic footing on the long-standing physics belief that first-order phase transitions--which in this setting translates to MMSE-instability impose fundamental limits on classes of efficient algorithms.

研究动机与目标

• 将稳定（抗噪声）算法作为平均情形估计中的核心范畴予以动机说明。
• 引入 MMSE 不稳定性作为普遍准则，暗示稳定算法的失败。
• 在三个典型设定（PSP、RLC、GSS）中展示稳定/低阶方法与多项式时间算法之间的具体分离。
• 将 MMSE 不连续性与一阶相变及根本的算法界限联系起来。

提出的方法

• 通过基于噪声算子 T_rho 的 (rho, eta)-稳定性来定义稳定算法。
• 引入带噪声的 MMSE MMSE_rho，并建立定理 2.1：MMSE 不稳定性导致稳定算法失败。
• 将不稳定性框架应用到三个估计任务： planted Shortest Path、Random Linear Code、Gaussian Subset Sum。
• 显示低阶多项式在这些设定中是稳定的，从而对这类方法给出下界。
• 推导推论，将 MMSE 跳变转译为稳定算法的明确次优差距。
• 利用 AoN 转换和二阶矩方法来界定 MMSE 与稳定性结果。

实验结果

研究问题

• RQ1 小噪声下的 MMSE 不连续性是否意味着稳定估计算法的失败？
• RQ2 MMSE 不稳定性现象是否对包括低阶多项式在内的广义算法族提供统一的下界？
• RQ3 在 PSP、RLC、GSS 中，稳定/低阶方法与多项式时间算法之间有哪些具体分离？
• RQ4 MMSE 的一阶相变如何与估计任务中的计算复杂性相关？

主要发现

• MMSE 不稳定性意味着任何 (rho, eta)-稳定算法在信号能量上相对于最佳解的表现存在常数比例的劣化。
• PSP 在 MMSE_rho 下表现出不稳定性，MMSE_rho 至少为 (1-o(1))L，因此 rho = o(1/L) 的稳定算法失败。
• RLC 在适当的 rho 下的 MMSE_rho 至少为 (1/4 - o(1))n，强制稳定/低阶方法失败。
• GSS 在合适的 rho 下表现出 AoN 基础的 MMSE 不稳定性，MMSE_rho ≥ (1-o(1))k，区分稳定/低阶与多项式时间方法。
• 低阶多项式在这些问题中保持稳定性，从而在稳定/低阶方法与多项式时间算法之间建立清晰的分离。
• 该工作推广了一个思想：MMSE 不连续性作为普遍屏障阻碍对稳定估计方法的应用，跨越多种模型。