[论文解读] Optimal Control of Complex Systems through Variational Inference with a Discrete Event Decision Process

Wen Dong, Бо Лю+1 more|arXiv (Cornell University)|May 7, 2019

Mental Health Research Topics参考文献 40被引用 7

一句话总结

该论文提出了一种新型框架，用于复杂系统的最优控制，通过将系统建模为离散事件决策过程（DEDP），并利用Bethe熵近似进行变分推断求解。通过将最优控制重新表述为变分推断与参数学习问题，该方法在真实世界交通控制场景中，相较于最先进的解析方法与基于采样的方法，实现了更高的期望奖励、更快的收敛速度以及更低的值函数方差。

ABSTRACT

Complex social systems are composed of interconnected individuals whose interactions result in group behaviors. Optimal control of a real-world complex system has many applications, including road traffic management, epidemic prevention, and information dissemination. However, such real-world complex system control is difficult to achieve because of high-dimensional and non-linear system dynamics, and the exploding state and action spaces for the decision maker. Prior methods can be divided into two categories: simulation-based and analytical approaches. Existing simulation approaches have high-variance in Monte Carlo integration, and the analytical approaches suffer from modeling inaccuracy. We adopted simulation modeling in specifying the complex dynamics of a complex system, and developed analytical solutions for searching optimal strategies in a complex network with high-dimensional state-action space. To capture the complex system dynamics, we formulate the complex social network decision making problem as a discrete event decision process. To address the curse of dimensionality and search in high-dimensional state action spaces in complex systems, we reduce control of a complex system to variational inference and parameter learning, introduce Bethe entropy approximation, and develop an expectation propagation algorithm. Our proposed algorithm leads to higher system expected rewards, faster convergence, and lower variance of value function in a real-world transportation scenario than state-of-the-art analytical and sampling approaches.

研究动机与目标

• 解决高维、非线性复杂系统中状态空间与动作空间庞大的最优控制挑战。
• 结合基于仿真建模的精度与解析方法的低方差鲁棒性。
• 为高维动力学下的复杂网络决策提供可扩展的解决方案。
• 降低传统蒙特卡洛采样在随机控制中的计算负担。
• 实现在具有复杂、时变且非线性相互作用的系统中高效的学习与推理。

提出的方法

• 将复杂系统的决策问题建模为离散事件决策过程（DEDP），通过仿真建模微观交互作用。
• 将最优控制重新表述为变分推断与参数学习问题，利用对偶性将问题转化为可处理的推断任务。
• 应用Bethe熵近似处理高维系统中变分目标里难以计算的熵项。
• 开发期望传播算法，迭代计算系统状态与动作的近似后验分布。
• 使用前向-后向消息传递计算变分分布的充分统计量，实现高效推断。
• 引入奖励塑形与状态-动作消息传递，以优化长期期望奖励。

实验结果

研究问题

• RQ1 结合仿真保真度与解析推断的混合方法是否能提升复杂系统中的控制性能？
• RQ2 变分推断如何适应复杂网络中高维、非线性且时变的动力学？
• RQ3 Bethe近似是否能为大规模决策过程提供稳定且准确的近似替代精确推断？
• RQ4 所提方法是否在奖励、收敛速度与方差方面均优于基于采样的与解析的控制方法？
• RQ5 与标准MDP相比，离散事件建模的集成如何提升复杂系统动力学的建模精度？

主要发现

• 在真实世界交通场景中，所提方法相较于最先进的解析与基于采样的方法，实现了显著更高的系统期望奖励。
• 该算法收敛速度优于现有方法，表明在高维状态-动作空间中具备更高的样本效率。
• 值函数估计的方差显著低于蒙特卡洛采样方法，表明其具有更高的稳定性。
• Bethe熵近似使得在精确计算不可行的高维系统中实现准确推断成为可能。
• 实验结果表明，结合变分推断的DEDP建模方法在奖励与鲁棒性方面均优于标准MDP的解析方法。
• 前向-后向消息传递机制实现了边际分布的高效计算，支持可扩展的推断。