[论文解读] The Metrics Matter! On the Incompatibility of Different Flavors of Replanning

Kartik Talamadupula, David E. Smith+1 more|arXiv (Cornell University)|May 12, 2014

AI-based Problem Solving and Planning参考文献 15被引用 3

一句话总结

本文主张将AI中的重规划视为一个独立问题而非单纯技术手段，并通过统一的编译框架证明，三种主流重规划方法——从重启重规划、保持相似性重规划与承诺敏感重规划——分别优化根本不同的度量指标，且不可互换。实证评估表明，无论在执行速度、计划相似性还是承诺满足度等指标上，任一方法均无法可靠替代另一方法。

ABSTRACT

When autonomous agents are executing in the real world, the state of the world as well as the objectives of the agent may change from the agent's original model. In such cases, the agent's planning process must modify the plan under execution to make it amenable to the new conditions, and to resume execution. This brings up the replanning problem, and the various techniques that have been proposed to solve it. In all, three main techniques -- based on three different metrics -- have been proposed in prior automated planning work. An open question is whether these metrics are interchangeable; answering this requires a normalized comparison of the various replanning quality metrics. In this paper, we show that it is possible to support such a comparison by compiling all the respective techniques into a single substrate. Using this novel compilation, we demonstrate that these different metrics are not interchangeable, and that they are not good surrogates for each other. Thus we focus attention on the incompatibility of the various replanning flavors with each other, founded in the differences between the metrics that they respectively seek to optimize.

研究动机与目标

• 将重规划重新定义为一个独立问题，而非仅作为技术手段，其基础是源自先前计划的约束条件。
• 解决一个开放性问题：即基于计算效率、计划稳定性或承诺敏感性的不同重规划策略，是否可互为可靠替代品。
• 开发一个统一基础框架，以实现对这些多样化重规划方法的公平、标准化比较。
• 通过实证评估，衡量每种方法在三个关键指标上的有效性：执行时间、计划相似性以及跨智能体承诺的保留程度。

提出的方法

• 利用部分满足技术，将三种重规划策略——从重启重规划、保持相似性重规划与承诺敏感重规划——统一编译至单一通用规划基础框架中。
• 将原始计划所施加的约束纳入统一规划框架中建模，从而实现对不同指标的直接比较。
• 使用最先进的规划器（Fast Downward），并在虚拟机环境（Windows Azure A7集群）中运行，以确保所有实例在相同条件下进行评估。
• 测量并比较三个关键指标：规划时间（对数尺度）、计划规模（动作数量），以及通过集合差与对称差计算的计划相似性。
• 通过原始计划动作序列推导出的跨智能体承诺，评估承诺违规情况。
• 对每个实例设置90分钟超时，超时案例从指标分析中排除，以确保比较的公平性。

实验结果

研究问题

• RQ1 一种以计算效率为优化目标的重规划方法，在多大程度上可作为以计划相似性为优化目标的方法的可靠替代？
• RQ2 一种保持相似性的重规划策略能否有效最小化跨智能体承诺违规？反之亦然？
• RQ3 速度、计划相似性与承诺满足度这三个不同度量指标之间如何相互作用？它们在不同重规划策略下是否兼容？
• RQ4 是否存在一个统一框架，能够公平评估并比较不同重规划技术在不同优化目标下的性能表现？

主要发现

• 从重启重规划在执行时间上显著快于保持相似性或承诺敏感方法，尤其在小规模实例上，其执行时间低几个数量级。
• 保持相似性方法在最小化与原始计划的集合差与对称差方面始终表现最优，证实其在计划稳定性方面的有效性。
• 保持相似性方法平均违规的跨智能体承诺最多，表明其作为承诺敏感优化的替代品效果极差。
• 从重启重规划生成的计划长度与原始计划相当，表明计划长度并非保持相似性方法计算时间增加的主要驱动因素。
• 承诺敏感方法在最小化跨智能体承诺违规方面表现最佳，但在执行速度与计划相似性方面均逊于保持相似性方法。
• 无任何一种重规划策略在所有三项指标上均表现优异，证明这三种重规划范式因优化目标根本不同而不可兼容。