[论文解读] SOM-VAE: Interpretable Discrete Representation Learning on Time Series

Vincent Fortuin, Matthias Hüser+3 more|arXiv (Cornell University)|Jun 6, 2018

Time Series Analysis and Forecasting参考文献 39被引用 60

一句话总结

本文提出SOM-VAE，一种新颖的框架，通过结合自组织映射（SOM）、变分自编码器（VAE）和马尔可夫模型，实现时间序列可解释的离散表征学习。该方法通过可微分的离散潜在空间和概率性时序建模，实现平滑、聚类优化且语义有意义的表征，在合成时间序列和真实世界时间序列（包括eICU数据）上优于现有方法。

ABSTRACT

High-dimensional time series are common in many domains. Since human cognition is not optimized to work well in high-dimensional spaces, these areas could benefit from interpretable low-dimensional representations. However, most representation learning algorithms for time series data are difficult to interpret. This is due to non-intuitive mappings from data features to salient properties of the representation and non-smoothness over time. To address this problem, we propose a new representation learning framework building on ideas from interpretable discrete dimensionality reduction and deep generative modeling. This framework allows us to learn discrete representations of time series, which give rise to smooth and interpretable embeddings with superior clustering performance. We introduce a new way to overcome the non-differentiability in discrete representation learning and present a gradient-based version of the traditional self-organizing map algorithm that is more performant than the original. Furthermore, to allow for a probabilistic interpretation of our method, we integrate a Markov model in the representation space. This model uncovers the temporal transition structure, improves clustering performance even further and provides additional explanatory insights as well as a natural representation of uncertainty. We evaluate our model in terms of clustering performance and interpretability on static (Fashion-)MNIST data, a time series of linearly interpolated (Fashion-)MNIST images, a chaotic Lorenz attractor system with two macro states, as well as on a challenging real world medical time series application on the eICU data set. Our learned representations compare favorably with competitor methods and facilitate downstream tasks on the real world data.

研究动机与目标

• 解决现有时间序列深度表征学习方法在可解释性方面的不足。
• 实现平滑、离散且语义有意义的表征，使其对人类理解更加直观。
• 通过自组织映射的基于梯度的变体，克服离散表征学习中的非可微性问题。
• 利用马尔可夫模型对表征空间中的时序依赖关系进行建模，以提升聚类性能与不确定性估计。
• 在多样化基准数据集（包括合成时间序列和真实世界医疗数据，如eICU）上评估该方法，验证其优越性能。

提出的方法

• 提出一种可微分的自组织映射（SOM）版本，支持通过梯度下降进行端到端训练，从而克服离散分配的非可微性问题。
• 将SOM与变分自编码器（VAE）结合，学习时间序列数据的紧凑且解耦的表征。
• 在离散表征空间中引入马尔可夫模型，以建模时序转移并提升聚类性能。
• 采用概率潜在变量框架，实现学习表征中的不确定性量化与可解释性。
• 对离散潜在变量应用重参数化技巧，使反向传播能够通过离散采样过程。
• 通过包含重构损失、KL散度以及来自马尔可夫模型的转移似然项的变分下界对模型进行优化。

实验结果

研究问题

• RQ1 可微分的离散表征学习框架是否能提升时间序列表征学习中的可解释性与聚类性能？
• RQ2 在离散表征空间中集成马尔可夫模型在多大程度上增强了时序一致性与聚类准确率？
• RQ3 SOM-VAE在合成与真实世界时间序列基准上的表现相较于现有方法有多大的优越性？
• RQ4 所学表征是否能在复杂时间序列（如混沌系统或临床ICU数据）中提供有意义且人类可解释的模式？
• RQ5 该方法在时间序列数据存在噪声与结构复杂性，尤其是在低数据量场景下，表现如何？

主要发现

• SOM-VAE在静态（Fashion-）MNIST和插值（Fashion-）MNIST图像时间序列上实现了最先进水平的聚类性能。
• 该方法学习到的表征平滑且可解释，能够反映混沌Lorenz吸引子系统中的底层宏观状态。
• 在真实世界eICU数据集上，SOM-VAE支持高效的下游分析，显著提升了聚类效果并实现了有意义的患者子群发现。
• 马尔可夫模型的集成显著改善了聚类性能，通过在潜在空间中建模时序依赖关系。
• 可微分SOM变体相比原始非可微SOM，实现了更稳定训练与更优优化。
• 所学表征通过离散状态间的转移概率，自然地提供了不确定性估计与可解释性。