[论文解读] Position Paper: Online Modeling for Offline Planning

Eyal Weiss, Gal A. Kaminka|arXiv (Cornell University)|Jun 7, 2022

AI-based Problem Solving and Planning被引用 4

一句话总结

本文提出在离线规划中采用在线建模，即在规划过程中动态生成动作模型而非预先定义，从而实现对复杂、学习得来或计算成本高昂模型的自适应使用。该方法利用具有上下界的成本估计算法高效引导规划，并对ASEC算法进行了评估，结果显示在满足次优性目标的前提下，运行时间性能得到提升。

ABSTRACT

The definition and representation of planning problems is at the heart of AI planning research. A key part is the representation of action models. Decades of advances improving declarative action model representations resulted in numerous theoretical advances, and capable, working, domain-independent planners. However, despite the maturity of the field, AI planning technology is still rarely used outside the research community, suggesting that current representations fail to capture real-world requirements, such as utilizing complex mathematical functions and models learned from data. We argue that this is because the modeling process is assumed to have taken place and completed prior to the planning process, i.e., offline modeling for offline planning. There are several challenges inherent to this approach, including: limited expressiveness of declarative modeling languages; early commitment to modeling choices and computation, that preclude using the most appropriate resolution for each action model -- which can only be known during planning; and difficulty in reliably using non-declarative, learned, models. We therefore suggest to change the AI planning process, such that is carries out online modeling in offline planning, i.e., the use of action models that are computed or even generated as part of the planning process, as they are accessed. This generalizes the existing approach (offline modeling). The proposed definition admits novel planning processes, and we suggest one concrete implementation, demonstrating the approach. We sketch initial results that were obtained as part of a first attempt to follow this approach by planning with action cost estimators. We conclude by discussing open challenges.

研究动机与目标

• 为解决传统离线建模的局限性，即动作模型在规划前即被固定，导致在现实世界领域中缺乏灵活性和效率。
• 通过将模型构建推迟到需要时再进行，实现复杂、数据驱动或计算成本高昂模型在规划中的使用。
• 通过基于上下界动态选择并调用成本估计算法，而非预先计算精确值，从而减轻规划的计算负担。
• 开发一种支持多种建模层级和估计算法的规划框架，使执行过程中可根据所需的精度与性能权衡自适应调整。
• 通过在经典规划中实现具体的ASEC算法，证明在线建模的可行性与优势。

提出的方法

• 提出从离线建模转向在线建模，即在规划过程中按需计算或生成动作模型。
• 提出一种框架，其中每个动作可拥有多个不同精度和运行时间的估计算法，返回真实成本的下界和上界。
• 定义一个规划问题，目标是找到在目标次优性乘数ε范围内的计划，仅使用动作成本的上下界。
• 开发ASEC（A*带同步成本估计算法），利用累积成本上下界的比例来决定何时调用估计算法。
• 通过扩展Fast Downward实现ASEC，实现动态估计算法的低开销支持，提升规划效率。
• 引入一种搜索后处理程序，利用可用的上下界对计划成本进行精细化估计，从而在可能的情况下提升计划质量。

实验结果

研究问题

• RQ1 通过将动作模型构建推迟到运行时而非预先定义，是否可使规划更具适应性和效率？
• RQ2 如何在不产生高预处理成本的前提下，有效整合复杂或学习得来的模型（如数据驱动的成本估计算法）到经典规划中？
• RQ3 在规划时间和解质量方面，使用精确动作成本与使用有界估计算法之间的性能权衡是什么？
• RQ4 在哪些条件下，在线建模结合动态估计算法相较于传统离线建模在运行时间和解质量方面表现更优？
• RQ5 如何设计规划算法以支持多种模型精度层级，并在搜索过程中实现动态模型选择？

主要发现

• ASEC算法成功使用成本上下界而非精确值，实现了在保持正确性的前提下高效动态估计算法的规划。
• ASEC在运行时间方面优于基线方法，同时通常满足目标次优性边界ε，展现出实际的效率优势。
• 在使用合成估计算法的基准测试中，实证评估表明当在线建模成本显著低于离线建模时，动态建模在计算上更具优势。
• 该方法支持使用多个具有不同精度和运行时间特性的估计算法，使规划过程中可实现自适应的权衡。
• 搜索后处理程序在有可用上下界时可提升计划成本估计的精度，从而在不重新运行主搜索的情况下增强解质量。
• 结果表明，当实际执行的动作数量远小于可能的动作数量，或平均实际估计算法耗时远低于最佳可用离线估计算法时，在线建模具有显著优势。