[论文解读] Spatio-Temporal Alignments: Optimal transport through space and time

Hicham Janati, Marco Cuturi+1 more|arXiv (Cornell University)|Oct 9, 2019

Diffusion and Search Dynamics参考文献 19被引用 7

一句话总结

本文提出时空对齐（STA），一种可微分度量，结合了非平衡最优传输以处理空间差异，以及软DTW以实现时间对齐，从而实现对时间序列数据中时空变异性的联合建模。该方法对时间偏移表现出二次敏感性，并能有效捕捉脑成像和手写字母数据中的时空结构，实现聚类。

ABSTRACT

Comparing data defined over space and time is notoriously hard, because it involves quantifying both spatial and temporal variability, while at the same time taking into account the chronological structure of data. Dynamic Time Warping (DTW) computes an optimal alignment between time series in agreement with the chronological order, but is inherently blind to spatial shifts. In this paper, we propose Spatio-Temporal Alignments (STA), a new differentiable formulation of DTW, in which spatial differences between time samples are accounted for using regularized optimal transport (OT). Our temporal alignments are handled through a smooth variant of DTW called soft-DTW, for which we prove a new property: soft-DTW increases quadratically with time shifts. The cost matrix within soft-DTW that we use are computed using unbalanced OT, to handle the case in which observations are not normalized probabilities. Experiments on handwritten letters and brain imaging data confirm our theoretical findings and illustrate the effectiveness of STA as a dissimilarity for spatio-temporal data.

研究动机与目标

• 为解决时空数据在时空上均存在变化且需保持时间顺序的比较挑战。
• 克服动态时间规整（DTW）的不可微性，后者限制了其在端到端学习中的应用。
• 开发一种统一的、可微分的相异度度量，通过最优传输捕捉空间位移，通过软DTW捕捉时间位移。
• 实现在脑成像和手写运动序列等时空数据上的有效聚类与表征学习。

提出的方法

• 该方法使用软DTW作为DTW的平滑可微近似，支持基于梯度的优化。
• 通过非平衡最优传输建模时间样本间的空间差异，支持非概率度量的比较。
• 整体代价定义为对齐方式的软最小化，其中每个对齐方式的代价结合了空间传输代价（通过非平衡Wasserstein）和时间对齐代价（通过软DTW）。
• 该公式利用熵正则化，支持使用Sinkhorn算法实现高效计算。
• 由此产生的相异度称为时空对齐（STA），具备可微性，支持对空间和时间分量的反向传播。
• 该方法采用多GPU加速，可扩展至大规模数据集，如每例含642个顶点的200例脑信号。

实验结果

研究问题

• RQ1 如何设计一种可微分度量，以联合建模时间序列数据中的时空变异？
• RQ2 软DTW是否如论文所述对时间偏移表现出二次敏感性？
• RQ3 非平衡最优传输能否有效捕捉神经活动或笔迹轨迹等非概率、非归一化数据中的空间差异？
• RQ4 STA在存在混合空间与时间变异的时空数据聚类中，相较于标准软DTW性能提升程度如何？
• RQ5 STA在真实世界数据集（如手写字母和模拟脑信号）上的泛化能力如何？

主要发现

• STA在模拟脑信号中成功捕捉了时空差异，t-SNE可视化显示仅当β > 0时，四个不同组别（两个区域，两个时间点）才呈现清晰分离。
• 当β = 0.1时，STA在DGX-1上10分钟内完成了对200例模拟脑信号的有效聚类，处理超过800万次Sinkhorn迭代。
• 在手写字母数据集上，STA在t-SNE可视化中优于软DTW，即使时间动态相似，也能根据空间结构清晰分离字母。
• 在手写字母实验中，该方法对β值表现出鲁棒性，表明在不同正则化水平下均具稳定性。
• 200例脑信号的完整STA相异度矩阵涉及约800万次在642维向量间的Sinkhorn循环，可在GPU硬件上高效完成。