[论文解读] Seq2Tens: An Efficient Representation of Sequences by Low-Rank Tensor Projections

Csaba Tóth, Patric Bonnier+1 more|arXiv (Cornell University)|Jun 12, 2020

Computational Physics and Python Applications参考文献 101被引用 4

一句话总结

本文提出了 Seq2Tens 方法，该方法在自由代数框架下利用低秩张量投影来表示序列，以高效捕捉非交换顺序依赖关系。通过将静态特征映射提升至结构化的张量代数并应用低秩近似，该方法实现了可扩展、模块化的神经网络层，在多变量时间序列分类、死亡率预测和视频生成基准测试中实现了最先进性能。

ABSTRACT

Sequential data such as time series, video, or text can be challenging to analyse as the ordered structure gives rise to complex dependencies. At the heart of this is non-commutativity, in the sense that reordering the elements of a sequence can completely change its meaning. We use a classical mathematical object -- the tensor algebra -- to capture such dependencies. To address the innate computational complexity of high degree tensors, we use compositions of low-rank tensor projections. This yields modular and scalable building blocks for neural networks that give state-of-the-art performance on standard benchmarks such as multivariate time series classification and generative models for video.

研究动机与目标

• 解决由于有序结构导致的复杂非交换依赖关系的序列建模挑战。
• 开发一种可扩展且模块化的序列表示方法，保留结构信息，而无需依赖固定长度的向量化。
• 为序列提供一个理论基础坚实、通用的特征映射，以推广经典字符串和时间序列方法。
• 通过结合代数结构与低秩张量近似，实现高效的深度学习架构用于序列建模。
• 在判别式和生成式序列建模任务中展示该方法的有效性，包括时间序列、视频和文本。

提出的方法

• 将静态特征映射 $\phi: \mathcal{X} \to V$ 提升至自由代数 $\mathrm{T}(V)$，该代数支持非交换乘积以编码序列顺序。
• 通过 $\mathrm{T}(V)$ 中的乘法构建序列特征映射 $\Phi(\mathbf{x}) = \prod_{i=1}^L \varphi(\mathbf{x}_i)$，其中 $\varphi$ 是 $\phi$ 的提升。
• 对代数乘积应用低秩张量分解，以在保持表达能力的同时降低计算复杂度。
• 引入基于这些张量投影的模块化神经网络层——LS2T 和 B-LS2T，用于判别式和生成式模型。
• 在预处理中使用前向插补而非零插补，以在模型中使用差分操作时稳定训练。
• 在 GP-VAE 模型的编码器中使用双向 LS2T 层，以改善全局序列表示，且超参数与原始模型保持一致。

实验结果

研究问题

• RQ1 能否使用尊重非交换顺序的代数张量积，构建一种通用、结构化且高效的序列表示？
• RQ2 如何在保持表达能力的同时降低基于自由代数的序列表示的计算复杂度？
• RQ3 在真实世界序列建模基准测试中，自由代数框架下的低秩张量投影在多大程度上能提升性能？
• RQ4 所提出的方法能否有效集成到判别式和生成式深度学习模型中，用于序列数据？
• RQ5 通过 LS2T 层增强编码器的全局上下文建模能力，是否能在序列重建和预测任务中带来可测量的性能提升？

主要发现

• Seq2Tens 方法在多变量时间序列分类、死亡率预测和视频生成基准测试中实现了最先进性能。
• 在 GP-VAE 模型中，将标准编码器替换为 B-LS2T 层后，HMNIST 和 Physionet 的重建性能得到提升，当信息瓶颈减轻时，Sprites 的 MSE 相对改善。
• 将编码器中第一个卷积层的宽度从 $h=32$ 增加到 $h=256$，缓解了信息瓶颈，使 GP-VAE (B-LS2T) 的 MSE 降低至 $1.3 \times 10^{-3} \pm 4.9 \times 10^{-5}$，优于基线。
• 性能提升归因于增强的编码器容量，使 B-LS2T 层的全局建模优势得以充分发挥。
• 当与模型中的差分操作结合时，前向插补比零插补更稳定，减少了缺失数据区域的振荡。
• 该方法表现出广泛的适用性，可作为灵活且可扩展的构建模块，应用于包括 GP-VAE 在内的多种序列建模架构。