[论文解读] Smoothed Analysis of Algorithms: Why the Simplex Algorithm Usually Takes Polynomial Time

Daniel A. Spielman, Shang‐Hua Teng|arXiv (Cornell University)|Nov 19, 2001

Advanced Optimization Algorithms Research参考文献 33被引用 52

一句话总结

本文引入了平滑分析（smoothed analysis）作为最坏情况分析与平均情况分析之间的混合框架，并将其应用于线性规划的单纯形算法。研究证明，在输入数据受到小幅度随机扰动的情况下，单纯形法的期望运行时间呈多项式时间，从而解决了理论最坏情况界与实际性能之间长期存在的差异。

ABSTRACT

We introduce the smoothed analysis of algorithms, which is a hybrid of the worst-case and average-case analysis of algorithms. In smoothed analysis, we measure the maximum over inputs of the expected performance of an algorithm under small random perturbations of that input. We measure this performance in terms of both the input size and the magnitude of the perturbations. We show that the simplex algorithm has polynomial smoothed complexity.

研究动机与目标

• 解决单纯形算法最坏情况下的指数时间复杂度与其在实践中始终表现出色的性能之间的脱节问题。
• 克服平均情况分析的局限性，后者假设输入服从均匀分布，可能无法反映真实世界的数据。
• 提出一种新的分析框架——平滑分析，用于评估在最坏情况输入受到小幅度随机扰动时的算法性能。
• 建立单纯形算法的多项式平滑复杂度，表明即使在对抗性输入下，只要稍作扰动，该算法通常仍能高效运行。

提出的方法

• 将平滑分析定义为：对所有输入取最大值，即在输入受到小幅度高斯扰动时的期望运行时间。
• 应用影子顶点法（shadow vertex method），这是单纯形算法的一种变体，通过在可行多面体上追踪目标函数的影子来运行。
• 利用几何与概率工具（包括向量之间的距离和角度界限）来界定影子路径的大小。
• 使用变量替换和雅可比行列式分析扰动约束矩阵的概率密度。
• 利用高斯分布的性质与尾部概率界限，控制病态或退化实例出现的可能性。
• 将分析分为两个阶段：第一阶段寻找一个可行的初始基，第二阶段优化目标函数，并分别界定每个阶段的期望步数。

实验结果

研究问题

• RQ1 为何单纯形算法尽管具有指数最坏情况复杂度，却在实践中表现良好？
• RQ2 能否构建一种理论框架，解释类似单纯形算法这类算法的实际效率，而无需依赖不切实际的平均情况假设？
• RQ3 在输入数据受到小幅度随机扰动时，单纯形算法是否具有多项式期望运行时间？
• RQ4 平滑分析如何处理线性规划中的退化与病态问题？
• RQ5 平滑复杂度能否推广到其他最坏情况性能差但实际表现良好的算法？

主要发现

• 单纯形算法在输入规模和高斯扰动标准差方面具有多项式平滑复杂度。
• 影子顶点法中期望的枢轴步骤数，受变量与约束数量以及扰动标准差倒数的多项式边界限制。
• 在小幅度扰动下，遇到影子路径过长（表示收敛缓慢）的线性规划问题的概率呈指数级小。
• 退化不会阻碍算法推进，因为即使多个基对应同一顶点，影子顶点法仍能沿影子持续前进。
• 该分析可扩展至退化情形，即可行集位于低维仿射子空间时，只要扰动保持仿射包络不变即可。
• 相对平滑复杂度仍是开放问题，但该框架表明，在适当的扰动模型下，单纯形法也可能具有多项式相对平滑复杂度。