[论文解读] The extended Smale's 9th problem -- On computational barriers and paradoxes in estimation, regularisation, computer-assisted proofs and learning

Alexander Bastounis, Anders C. Hansen+1 more|arXiv (Cornell University)|Oct 29, 2021

Numerical Methods and Algorithms参考文献 87被引用 44

一句话总结

tldr: 本文介绍扩展的斯梅尔第九问题，给出负面与正面结果：在估计/正则化/学习中的不可计算现象，以及在含有不精确输入的扩展模型下存在多项式时间成本的算法，并给出复杂性框架和相变现象。

ABSTRACT

Linear and semidefinite programming (LP, SDP), regularisation through basis pursuit (BP) and Lasso have seen great success in mathematics, statistics, data science, computer-assisted proofs and learning. The success of LP is traditionally attributed to the fact that it is "in P" for rational inputs. On the other hand, in his list of problems for the 21st century S. Smale calls for "[Computational] models which process approximate inputs and which permit round-off computations". Indeed, since e.g. the exponential function does not have an exact representation or floating-point arithmetic approximates every rational number that is not in base-2, inexact input is a daily encounter. The model allowing inaccurate input of arbitrary precision, which we call the extended model, leads to extended versions of fundamental problems such as: "Are LP and other aforementioned problems in P?" The same question can be asked for an extended version of Smale's 9th problem on the list of mathematical problems for the 21st century: "Is there a polynomial time algorithm over the real numbers which decides the feasibility of the linear system of inequalities, and if so, outputs a feasible candidate?" One can thus pose this problem in the extended model. Similarly, the optimisation problems BP, SDP and Lasso, where the task is to output a solution to a specified precision, can likewise be posed in the extended model, also considering randomised algorithms. We will collectively refer to these problems as the extended Smale's 9th problem, which we settle in both the negative and the positive yielding two surprises: (1) In mathematics, sparse regularisation, statistics, and learning, one successfully computes with non-computable functions. (2) In order to mathematically characterise this phenomenon, one needs an intricate complexity theory for, seemingly paradoxically, non-computable functions.

研究动机与目标

• 激发将 Smale’s 9th 问题扩展到含不精确输入与扩展计算模型（Turing 与 BSS）的研究。
• 表征在扩展模型中，LP、BP、Lasso 与 SDP 的最小值点何时可以在多项式时间成本内计算。
• 展示在计算不可解的问题在计算机辅助证明与学习情境中仍可被处理的悖论性结果。

提出的方法

• 定义扩展模型，其中一个 oracle 以准确度 2^{-k} 提供不精确输入，且时间为 poly(k)。
• 给出问题1的表述：在扩展输入下的实现可行性与 K 位正确性的扩展 Smale’s 9th 问题。
• 证明 Theorems 3.3、5.1、6.1、7.1，在扩展模型下既给出不可行性结论，又给出多项式时间算法的可能性。
• 提出失败阈值框架（epsilon_B^s、epsilon_B^w）和退出标志，用于研究算法的成功与失败。
• 展示近似困难度的相变（epsilon-A、epsilon_P A）及其概率对应形式（epsilon_PB^s、epsilon_PB^w）的相变。
• 将发现与Kepler’s proof等实际情境中的鲁棒估计联系起来。

实验结果

研究问题

• RQ1 在扩展模型中是否存在输出对 LP、BP、Lasso 与 SDP 具有 K 位正确性的最小化解的多项式时间算法？
• RQ2 在何种条件下，非可计算输入仍然允许成功的计算机辅助证明或学习结果？
• RQ3 在扩展优化中将可处理与不可处理的区分开的相变阈值（epsilon-approx, epsilon_B）是什么？
• RQ4 在扩展框架下，随机化算法在成功概率和停机行为方面有何表现？
• RQ5 这些结果如何影响对现代优化软件和证明检查在实践中的解释与可靠性？

主要发现

• 存在一类输入，在该类输入上任意算法（甚至随机化算法）都无法以概率>1/2 为所有输入产生 K 位正确数字。
• 若随机化算法可能以非零概率无限运行，则没有这样的算法能以概率>2/3 产生 K 位正确数字，尽管存在一个概率为 2/3 的算法。
• 存在一个能对所有输入输出 K−1 位正确数字的算法，但对于任意固定维度，某些输入会强制需要任意长的运行时间才能达到这一目标，或以高概率失败。
• 存在一个算法在多项式时间内（以 n 为量纲）达到 K−2 位正确数字，且有多项式时间的 oracle 调用和有界空间。
• 扩展问题在近似困难度上呈现相变；计算 epsilon-近似最小化解的难度可随 epsilon 阈值而从在 P 中到不可计算发生转变。
• 这些结果扩展到 SDP，并支持与计算机辅助证明（如 Kepler’s conjecture）以及优化中的相变现象的联系。