[论文解读] Recurrent switching linear dynamical systems

Scott W. Linderman, Andrew C. Miller+4 more|arXiv (Cornell University)|Oct 26, 2016

Gaussian Processes and Bayesian Inference参考文献 14被引用 43

一句话总结

本文提出了循环切换线性动态系统（rSLDS），一种贝叶斯模型，通过利用逻辑回归使离散状态转移依赖于连续隐状态或外生输入，从而扩展了切换线性动态系统。该方法通过辅助变量技术实现了可解释且可扩展的推理，在合成数据和真实篮球轨迹数据上的非线性动态建模效果优于标准SLDS。

ABSTRACT

Many natural systems, such as neurons firing in the brain or basketball teams traversing a court, give rise to time series data with complex, nonlinear dynamics. We can gain insight into these systems by decomposing the data into segments that are each explained by simpler dynamic units. Building on switching linear dynamical systems (SLDS), we present a new model class that not only discovers these dynamical units, but also explains how their switching behavior depends on observations or continuous latent states. These "recurrent" switching linear dynamical systems provide further insight by discovering the conditions under which each unit is deployed, something that traditional SLDS models fail to do. We leverage recent algorithmic advances in approximate inference to make Bayesian inference in these models easy, fast, and scalable.

研究动机与目标

• 通过将复杂非线性时间序列分解为具有可解释切换行为的简单动态模式，实现对复杂非线性时间序列数据的建模。
• 通过使离散状态转移依赖于连续隐状态或外部输入，扩展传统切换线性动态系统（SLDS）。
• 利用辅助变量方法，实现在此类模型中快速、可扩展且模块化的贝叶斯推理。
• 提供一种生成式、可解释且分层的框架，支持缺失数据和多种观测模态。
• 在合成Lorenz吸引子数据和真实NBA球员轨迹数据上展示该模型的有效性。

提出的方法

• 提出一种循环切换状态空间模型，其中离散状态转移由连续隐状态或外生输入的逻辑回归控制。
• 对连续动态和观测采用条件线性高斯结构，保持共轭性以实现高效推理。
• 采用辅助变量方法（如Polson等，2013；Linderman等，2015）以实现快速且可扩展的贝叶斯推理。
• 使用共轭先验——转移矩阵使用狄利克雷先验，系统参数使用矩阵正态逆Wishart先验——以实现完整的贝叶斯学习。
• 利用Gibbs采样和变分推理技术，处理包含缺失值的大规模时间序列数据。
• 引入仅含循环结构的AR-HMM变体，用于建模球员轨迹，多个智能体共享状态。

实验结果

研究问题

• RQ1 是否可以在保持计算可及性的同时，使动力系统中的离散状态转移依赖于连续隐状态或环境因素？
• RQ2 如何在不牺牲线性高斯结构的前提下，高效地执行具有状态依赖切换动态的模型的贝叶斯推理？
• RQ3 rSLDS在多大程度上能比标准SLDS更准确地捕捉Lorenz吸引子等复杂非线性动态？
• RQ4 rSLDS在真实世界多智能体系统（如NBA篮球运动员）中，能否有效发现可解释的行为模式？
• RQ5 该模型是否能在多个智能体之间泛化，并有效处理具有缺失观测的异构数据？

主要发现

• rSLDS模型成功捕捉了Lorenz吸引子的非线性动态，其状态转移紧密跟随真实系统的动态行为，而标准SLDS则独立于状态进行切换。
• 在篮球轨迹数据中，rSLDS识别出30个可解释的状态，对应于不同的球员动作，如冲向篮筐、沿底线切入和角落投篮。
• 球员特定的状态使用模式与已知行为特征一致——例如，雷·阿伦频繁使用左侧角落投篮状态——验证了模型的可解释性。
• 在数据重建方面，rSLDS优于标准SLDS，rSLDS轨迹保持在原点附近，并展现出真实的切换行为。
• Gibbs采样在200次迭代内稳定收敛，支持在包含五名球员共256,103个时间步的大规模数据集上实现可扩展推理。
• 辅助变量的使用实现了快速且模块化的贝叶斯推理，支持向分层模型和多模态观测的扩展。