[论文解读] Reasoning about Hypothetical Agent Behaviours and their Parameters

Stefano V. Albrecht, Peter Stone|arXiv (Cornell University)|Jun 26, 2019

Data Stream Mining Techniques参考文献 37被引用 9

一句话总结

本文提出了一种方法，使智能体能够对不同智能体类型的可能性以及这些类型内有界连续参数的取值进行推理，通过在每次观察后选择性地更新参数。该方法在多智能体任务中实现了显著的性能提升——在觅食环境中得到验证——通过每个时间步仅更新一个参数估计，同时优于随机参数估计。

ABSTRACT

Agents can achieve effective interaction with previously unknown other agents by maintaining beliefs over a set of hypothetical behaviours, or types, that these agents may have. A current limitation in this method is that it does not recognise parameters within type specifications, because types are viewed as blackbox mappings from interaction histories to probability distributions over actions. In this work, we propose a general method which allows an agent to reason about both the relative likelihood of types and the values of any bounded continuous parameters within types. The method maintains individual parameter estimates for each type and selectively updates the estimates for some types after each observation. We propose different methods for the selection of types and the estimation of parameter values. The proposed methods are evaluated in detailed experiments, showing that updating the parameter estimates of a single type after each observation can be sufficient to achieve good performance.

研究动机与目标

• 解决基于类型建模中智能体类型内连续参数未被识别或学习的局限性。
• 使智能体能够为每种类型维护并更新独立的参数估计，从而提高行为预测的准确性。
• 通过在每次观察后仅选择性地更新部分参数估计，最小化计算成本。
• 提供一种通用方法，适用于任何有界连续参数，而无需依赖特定领域的似然估计器。
• 在真实多智能体环境中评估该方法的有效性，特别是在临时协作场景中。

提出的方法

• 该方法维护一个有限智能体类型集合的信念，每个类型关联一个有界连续参数向量。
• 在每次观察后，基于信念权重或对未来决策的预期影响等标准，选择性地更新部分类型的参数估计。
• 参数估计采用贝叶斯更新或最大似然等技术，适用于黑箱类型函数的适应性调整。
• 该方法将参数学习视为与类型信念更新分离的推理问题，从而可灵活集成任何类型规范。
• 其采用受动态贝叶斯网络启发的选择性推理策略，但针对智能体类型选择与参数估计进行了适配。
• 该方法支持参数的点估计和参数上的信念分布，从而增强对不确定性的鲁棒性。

实验结果

研究问题

• RQ1 智能体如何在不产生高计算成本的前提下，高效学习假设类型内的连续参数？
• RQ2 在获得新观察时，应依据何种标准选择更新哪些类型？
• RQ3 选择性参数更新如何影响类型信念分布的收敛性和准确性？
• RQ4 每个时间步仅进行一次参数更新是否足以在复杂多智能体任务中实现优异性能？
• RQ5 参数估计如何与智能体类型信念的演化相互作用并产生影响？

主要发现

• 与随机参数估计相比，该方法在基于层级的觅食领域中显著提升了任务完成率。
• 每个时间步仅更新单一参数估计已足够实现优异性能，证明了其计算效率。
• 该方法通过避免为同一类型的不同参数值实例化多个副本，有效减少了空间和计算冗余。
• 由于绝对连续性被违反，信念合并未发生，但该方法在实践中仍实现了可靠的收敛。
• 参数估计技术具有通用性，适用于任何有界连续参数，而无需依赖领域特定的似然函数。
• 实验表明，参数估计显著影响了类型信念的演化，凸显了其在准确建模中的重要性。