[论文解读] Sparse Linear Dynamical System with Its Application in Multivariate Clinical Time Series

Zitao Liu, Miloš Hauskrecht|arXiv (Cornell University)|Nov 27, 2013

Machine Learning in Healthcare参考文献 24被引用 4

一句话总结

该论文提出了一种稀疏线性动态系统（SLDS），通过在标准线性动态系统（LDS）的转移矩阵上应用ℓ₁正则化，以诱导稀疏性，从而减少过拟合，并在多变量临床时间序列上提升预测性能。通过使用具有广义梯度下降和EM优化的MAP框架，SLDS在不同隐藏状态数量下均显著降低了预测误差，优于普通LDS。

ABSTRACT

Linear Dynamical System (LDS) is an elegant mathematical framework for modeling and learning multivariate time series. However, in general, it is difficult to set the dimension of its hidden state space. A small number of hidden states may not be able to model the complexities of a time series, while a large number of hidden states can lead to overfitting. In this paper, we study methods that impose an $\ell_1$ regularization on the transition matrix of an LDS model to alleviate the problem of choosing the optimal number of hidden states. We incorporate a generalized gradient descent method into the Maximum a Posteriori (MAP) framework and use Expectation Maximization (EM) to iteratively achieve sparsity on the transition matrix of an LDS model. We show that our Sparse Linear Dynamical System (SLDS) improves the predictive performance when compared to ordinary LDS on a multivariate clinical time series dataset.

研究动机与目标

• 为解决在线性动态系统（LDS）中选择最优隐藏状态数量的挑战，该挑战常导致过拟合或欠拟合。
• 通过学习更具结构化、稀疏的转移矩阵，提升在小样本、复杂多变量临床时间序列数据集上的预测性能。
• 开发一种方法，通过在LDS转移矩阵中促进稀疏性，自动调整模型复杂度，而无需依赖隐藏状态维度的先验知识。
• 在训练数据有限的情况下，尤其是纵向观察稀疏的临床环境中，减少LDS模型的过拟合。

提出的方法

• 在LDS模型的转移矩阵A上应用ℓ₁正则化，以鼓励稀疏性并降低模型复杂度。
• 采用最大后验概率（MAP）估计框架，并在转移矩阵参数上使用拉普拉斯先验，以诱导稀疏性。
• 在EM算法中使用广义梯度下降法，迭代优化稀疏参数。
• 结合期望最大化（EM）算法，联合估计模型参数和隐藏状态，通过正则化强制实现稀疏性。
• 使用带有高斯噪声的线性状态转移来建模系统动态，并将观测值表示为隐藏状态的线性组合。
• 采用概率建模方法，使转移矩阵和观测矩阵在稀疏性约束下从数据中学习。

实验结果

研究问题

• RQ1 对LDS转移矩阵施加ℓ₁正则化是否能提升在多变量临床时间序列上的预测性能？
• RQ2 当隐藏状态数量未被最优选择时，所提出的SLDS模型是否相比标准LDS能更有效地减少过拟合？
• RQ3 SLDS模型是否能通过学习稀疏的转移结构，在训练数据有限的情况下实现更好的泛化性能？
• RQ4 SLDS在不同隐藏状态数量下的性能与普通LDS相比如何？

主要发现

• SLDS在所有测试的隐藏状态数量下均持续优于普通LDS，在临床时间序列预测中实现了更低的平均绝对误差（AMAE）。
• 在50个训练样本下，SLDS在5个隐藏状态时AMAE为0.5684，而普通LDS为0.6667，相对性能提升14.7%。
• 在100个训练样本下，SLDS在5个隐藏状态时AMAE为0.6379，而普通LDS为0.6406，表明即使在更多数据下仍具鲁棒性。
• 当隐藏状态数量超过最优值后，SLDS的误差恶化速度更慢，表明对过拟合具有更强的鲁棒性。
• 普通LDS在超过5个隐藏状态后性能显著下降，15个状态时AMAE升至1.2993，凸显其对过度参数化的敏感性。
• 结果表明，转移矩阵中的稀疏性能有效捕捉潜在系统动态，并在低数据临床环境中提升泛化能力。