[论文解读] Randomized Methods for Design of Uncertain Systems: Sample Complexity and Sequential Algorithms

Teodoro Álamo, Roberto Tempo+2 more|arXiv (Cornell University)|Apr 2, 2013

Probabilistic and Robust Engineering Design被引用 11

一句话总结

本文提出了一种新颖的序列随机算法——序列概率验证（SPV），用于在不确定性下的鲁棒控制设计。通过利用二项尾部不等式和自适应验证集大小，SPV 相较于传统方法显著降低了样本复杂度并提高了计算效率，尤其在非凸和有限族问题中表现更优，在数值验证中以更少的样本实现了更优的性能指标。

ABSTRACT

In this paper, we study randomized methods for feedback design of uncertain systems. The first contribution is to derive the sample complexity of various constrained control problems. In particular, we show the key role played by the binomial distribution and related tail inequalities, and compute the sample complexity. This contribution significantly improves the existing results by reducing the number of required samples in the randomized algorithm. These results are then applied to the analysis of worst-case performance and design with robust optimization. The second contribution of the paper is to introduce a general class of sequential algorithms, denoted as Sequential Probabilistic Validation (SPV). In these sequential algorithms, at each iteration, a candidate solution is probabilistically validated, and corrected if necessary, to meet the required specifications. The results we derive provide the sample complexity which guarantees that the solutions obtained with SPV algorithms meet some pre-specified probabilistic accuracy and confidence. The performance of these algorithms is illustrated and compared with other existing methods using a numerical example dealing with robust system identification.

研究动机与目标

• 推导随机鲁棒控制设计在不确定性下的更紧致样本复杂度边界。
• 开发一种通用的序列算法 SPV，可对解进行概率验证，并保证置信度和精度。
• 克服现有序列方法中严格验证的局限性，后者要求所有约束在验证集上均被满足。
• 证明 SPV 在样本效率和性能指标方面优于非序列方法和凸场景方法。
• 提供一种不依赖凸性或有限族假设的框架，从而扩大其在非凸和复杂系统中的适用范围。

提出的方法

• 利用二项分布和尾部不等式，计算确保高置信度下概率可行性的最小样本量。
• 提出 SPV，一种序列算法，每轮迭代在自适应大小的验证集上测试候选解。
• 根据动态规则确定验证集大小 $ M_k $，涉及 $ m_k = \lfloor ak \rfloor $、置信度 $ \delta $ 和违规概率 $ \eta $。
• 采用概率验证标准：若违反约束的次数不超过 $ m_k $，则接受该解。
• 使用逐步增长的验证集 $ \mathcal{W}_k $，结合先前样本，以在迭代过程中提升精度。
• 将该算法应用于鲁棒系统辨识，并与非序列场景方法和有限族方法进行性能比较。

实验结果

研究问题

• RQ1 为确保给定概率置信度和违规概率的解，所需的最小样本数是多少？
• RQ2 如何设计序列算法以在保持概率保证的前提下降低样本复杂度？
• RQ3 与严格验证相比，是否可以通过放宽验证策略来提升收敛速度并减少迭代次数？
• RQ4 在样本数量和解质量方面，SPV 与非序列场景方法和有限族方法相比表现如何？
• RQ5 SPV 在无需凸性或有限基数性假设的前提下，能在多大程度上应用于非凸和非有限族设计问题？

主要发现

• 当 $ \eta = 0.01 $ 时，SPV 仅需 4,163 个样本，显著少于凸场景方法所需的 7,090 个样本。
• 当 $ \eta = 0.001 $ 时，SPV 使用 41,617 个样本，而凸场景方法需 74,062 个样本，样本数量减少 44%。
• 在 $ \eta = 0.01 $ 时，SPV 的性能指标为 0.9406，优于凸场景方法（0.9613）和有限族方法（0.9841）。
• 当 $ a = 0 $ 时，该算法退化为严格验证；然而，对于 $ \eta = 0.05 $，其在 30,000 个样本内无法收敛，凸显了松弛策略的优势。
• SPV 算法的最终经验失败率为 $ \frac{1}{2231} \approx 0.00045 $，远低于目标值 $ \eta = 0.01 $，证实了其概率保证。
• SPV 框架不依赖凸性或有限族假设，因此可适用于更广泛的非凸和复杂不确定系统。