[论文解读] Planning with Partial Preference Models

Tuan Anh Nguyen, Bùi Quang Minh+4 more|arXiv (Cornell University)|Jan 12, 2011

AI-based Problem Solving and Planning参考文献 8被引用 12

一句话总结

本文提出了一种在用户偏好仅部分指定时生成高质量计划集的框架，利用未知偏好的多样性度量和部分偏好输入的集成凸偏好（Integrated Convex Preference）方法。该方法在规划器如 gp-csp 和 Metric-LPG 中引入启发式搜索策略，以高效生成多样化且与用户相关联的计划集，实验证明在引入部分偏好后，计划集质量得到提升。

ABSTRACT

Current work in planning with preferences assume that the user's preference models are completely specified and aim to search for a single solution plan. In many real-world planning scenarios, however, the user probably cannot provide any information about her desired plans, or in some cases can only express partial preferences. In such situations, the planner has to present not only one but a set of plans to the user, with the hope that some of them are similar to the plan she prefers. We first propose the usage of different measures to capture quality of plan sets that are suitable for such scenarios: domain-independent distance measures defined based on plan elements (actions, states, causal links) if no knowledge of the user's preferences is given, and the Integrated Convex Preference measure in case the user's partial preference is provided. We then investigate various heuristic approaches to find set of plans according to these measures, and present empirical results demonstrating the promise of our approach.

研究动机与目标

• 解决在用户偏好未知或仅部分指定时生成代表性计划集的挑战。
• 在偏好信息不完整的情况下，定义计划集的正式质量度量标准，包括与领域无关的距离度量和集成凸偏好函数。
• 开发启发式搜索技术，利用现有的规划器如 gp-csp 和 Metric-LPG，高效生成多样化且具有偏好感知能力的计划集。
• 评估这些方法在提高用户偏好计划包含在生成集合中的可能性方面的有效性。
• 实现交互式偏好学习，使用户反馈能够随时间逐步优化偏好模型。

提出的方法

• 提出一种基于计划元素（动作、状态、因果链）的与领域无关的距离度量，用于在无偏好信息时量化多样性。
• 引入集成凸偏好（ICP）函数作为在提供部分偏好（属性及其权重分布）时计划集的质量度量。
• 对 gp-csp 规划器进行改进，通过在有界时域编译方法中引入基于距离的约束，以强制实现多样性。
• 通过使用距离度量对松弛计划启发式进行偏差调整，增强 lpg 规划器，引导局部搜索朝向多样化解。
• 扩展 Metric-LPG 规划器，引入启发式策略以在 ICP 度量下优化计划集，充分利用部分偏好输入。
• 采用贝叶斯更新机制，基于用户从生成计划集中的选择，迭代地优化用户偏好模型。

实验结果

研究问题

• RQ1 当用户偏好完全未知时，如何评估计划集的质量？
• RQ2 在不依赖偏好模型的情况下，有哪些有效的启发式方法可用于生成多样化计划集？
• RQ3 如何形式化建模并利用部分用户偏好（特别是属性集合及其相对重要性）来指导计划集的生成？
• RQ4 在多大程度上，将部分偏好纳入能提升生成计划集的质量？
• RQ5 是否可以将基于用户反馈的交互式学习集成到计划集生成过程中，以随时间逐步优化偏好模型？

主要发现

• 基于计划元素的与领域无关的距离度量在无偏好信息时能有效捕捉计划集的多样性。
• 在 gp-csp 上的实验表明，强制实施不同距离度量在计算难度上存在差异，且这些度量在生成的计划集合中表现出相关性。
• 基于 lpg 的方法通过使用偏差松弛计划启发式，成功利用局部搜索生成了大量高度多样的计划。
• 通过集成凸偏好函数引入部分偏好，相比仅依赖多样性的方法，显著提升了计划集的质量。
• 所提方法对偏好不完整性程度敏感，随着可用偏好信息的增加，性能持续提升。
• 该框架支持交互式偏好学习，用户对所选计划的反馈可用于通过贝叶斯参数估计更新偏好模型。