[论文解读] Run2Survive: A Decision-theoretic Approach to Algorithm Selection based on Survival Analysis

Alexander Tornede, Marcel Wever+3 more|arXiv (Cornell University)|Jul 6, 2020

Machine Learning and Algorithms参考文献 12被引用 6

一句话总结

本文提出 Run2Survive，一种基于决策理论的算法选择框架，利用生存分析建模右删失的算法运行时间数据，通过优先避免超时来实现风险规避型选择。在 26 个 ASlib 场景上评估，其在多个问题领域中均取得了最先进性能，中位数和均值归一化 PAR10 分数表现优异。

ABSTRACT

Algorithm selection (AS) deals with the automatic selection of an algorithm from a fixed set of candidate algorithms most suitable for a specific instance of an algorithmic problem class, where "suitability" often refers to an algorithm's runtime. Due to possibly extremely long runtimes of candidate algorithms, training data for algorithm selection models is usually generated under time constraints in the sense that not all algorithms are run to completion on all instances. Thus, training data usually comprises censored information, as the true runtime of algorithms timed out remains unknown. However, many standard AS approaches are not able to handle such information in a proper way. On the other side, survival analysis (SA) naturally supports censored data and offers appropriate ways to use such data for learning distributional models of algorithm runtime, as we demonstrate in this work. We leverage such models as a basis of a sophisticated decision-theoretic approach to algorithm selection, which we dub Run2Survive. Moreover, taking advantage of a framework of this kind, we advocate a risk-averse approach to algorithm selection, in which the avoidance of a timeout is given high priority. In an extensive experimental study with the standard benchmark ASlib, our approach is shown to be highly competitive and in many cases even superior to state-of-the-art AS approaches.

研究动机与目标

• 为解决算法选择中因超时导致无法完整观测运行时间的删失训练数据挑战。
• 开发一种理论基础扎实的方法，利用生存分析而非临时填补或丢弃数据，正确处理删失数据。
• 设计一种风险规避型算法选择策略，优先考虑避免超时，而非最小化期望运行时间。
• 在涵盖多样化问题领域与算法集合的综合性基准套件上评估所提方法。
• 证明基于生存分析的模型相比标准回归或分类方法，能实现更优的决策能力。

提出的方法

• 使用生存分析，特别是累积风险函数（CHF），以统计上可靠的方式捕捉删失数据中的算法运行时间分布。
• 利用随机生存森林从删失运行时间数据中估计实例与算法特定的生存分布。
• 基于期望运行时间和风险规避型决策标准，构建静态与动态算法调度策略。
• 应用针对 PAR10 分数定制的代理损失函数，使模型优化与实际性能指标对齐。
• 优先选择能最小化超时概率的算法选择策略，体现风险规避立场。
• 将生成式运行时间模型整合进决策理论框架，以在不确定性下指导选择器决策。

实验结果

研究问题

• RQ1 生存分析能否有效应用于算法选择中删失算法运行时间数据的建模？
• RQ2 基于生存模型的风险规避型决策策略与标准算法选择方法相比表现如何？
• RQ3 对删失数据的恰当处理在多大程度上提升了算法选择模型的鲁棒性与准确性？
• RQ4 所提出的 Run2Survive 框架是否在多样化算法选择基准上优于最先进方法？
• RQ5 与 PAR10 分数对齐的代理损失函数的使用，如何影响模型性能与泛化能力？

主要发现

• Run2Survive 在全部 26 个 ASlib 基准场景中平均排名最优，展现出强大的整体竞争力。
• 该方法实现了最低的中位数和均值归一化 PAR10 分数，表明在问题实例上的平均性能更优。
• 在最多 13 个场景中，Run2Survive 取得了最佳性能，显示出在特定问题领域中的持续优越性。
• 该方法显著优于标准方法（如丢弃或填补删失数据），后者被证明会产生过于乐观的模型。
• 基于生存分析的建模方式提供了比传统回归或分类模型更丰富、更可靠的运行时间分布估计。
• 风险规避策略有效降低了超时概率，符合实际部署中对超时高度敏感的需求。