[论文解读] Temporal Transformer Networks: Joint Learning of Invariant and Discriminative Time Warping

Suhas Lohit, Qiao Wang+1 more|arXiv (Cornell University)|Jun 13, 2019

Human Pose and Action Recognition参考文献 42被引用 4

一句话总结

本文提出时序变换器网络（TTN），一种可微分、可解释的模块，联合学习时间序列分类中的不变性和判别性时间扭曲。通过应用输入相关的非参数微分同胚，TTN 降低类内方差并增强类间分离，尤其在训练数据有限时，在 3D 动作识别基准上达到最先进性能。

ABSTRACT

Many time-series classification problems involve developing metrics that are invariant to temporal misalignment. In human activity analysis, temporal misalignment arises due to various reasons including differing initial phase, sensor sampling rates, and elastic time-warps due to subject-specific biomechanics. Past work in this area has only looked at reducing intra-class variability by elastic temporal alignment. In this paper, we propose a hybrid model-based and data-driven approach to learn warping functions that not just reduce intra-class variability, but also increase inter-class separation. We call this a temporal transformer network (TTN). TTN is an interpretable differentiable module, which can be easily integrated at the front end of a classification network. The module is capable of reducing intra-class variance by generating input-dependent warping functions which lead to rate-robust representations. At the same time, it increases inter-class variance by learning warping functions that are more discriminative. We show improvements over strong baselines in 3D action recognition on challenging datasets using the proposed framework. The improvements are especially pronounced when training sets are smaller.

研究动机与目标

• 为解决时间序列分类中的时间错位问题，特别是在人类活动识别中因运动速率变化和生物力学差异导致的问题。
• 开发一种可微分、可解释的模块，学习时间扭曲函数以减少类内可变性，同时增强类间可分性。
• 无缝集成到现有时间序列分类器（如 TCN 和 LSTM）中，无需架构重构。
• 在速率变化下提升分类鲁棒性，尤其在低数据场景下。
• 提供基于几何基础的、模型驱动的方法，弥合解析不变性与数据驱动深度学习之间的差距。

提出的方法

• TTN 是一个可训练的可微分模块，插入分类网络前端，执行输入特定的时间扭曲。
• 通过在平方根速度表示中学习速度场，生成非参数化、保序的微分同胚，确保时间扭曲的平滑性和可逆性。
• 时间扭曲函数通过积分学习到的向量场获得，支持表达性强、连续的时间变换。
• 该模块与分类器端到端联合优化，共同最小化分类损失，并促进类内对齐和类间分离。
• TTN 利用最优对齐的非唯一性，学习判别性扭曲，使不相似类别彼此远离。
• 兼容多种架构，仅需在 TCN 和 LSTM 等模型中添加一行代码即可集成。

实验结果

研究问题

• RQ1 能否设计一个深度学习模块，联合学习时间序列分类中的不变性和判别性时间扭曲？
• RQ2 如何将基于模型的几何约束整合到数据驱动的神经网络中，以提升对时间速率变化的鲁棒性？
• RQ3 可微分、可解释的时间扭曲模块在训练数据有限的 3D 动作识别数据集上，能在多大程度上提升分类准确率？
• RQ4 TTN 是否能增强表示学习中的特征空间聚类效果和类间分离？
• RQ5 TTN 能否在不同模态（如 Kinect 和基于动捕的 3D 骨骼）上有效应用？

主要发现

• 在引入速率变化的 ICL 动作数据集上，TTN 显著提升了波形对齐质量与分类准确率，改善了聚类效果。
• 在 NTU RGB-D 数据集上，TCN+TTN 在跨被试评估中达到 77.55% 的准确率，优于基线 TCN（76.54%），提升 1.01 个百分点。
• 使用两个并行 TTN 并拼接其输出，进一步将性能提升至跨被试划分的 77.80%。
• TTN 改进了聚类指标：归一化聚类纯度（CP）从 0.466 提升至 0.493，归一化熵（H）从 0.575 降至 0.596。
• t-SNE 可视化结果证实，TTN 输出在特征空间中形成更分离、更紧凑的聚类。
• 消融实验表明，TTN 在低数据场景下持续提升类内紧凑性与类间分离性。