[论文解读] Temporal Lift Pooling for Continuous Sign Language Recognition

Lianyu Hu, Liqing Gao+2 more|arXiv (Cornell University)|Jul 18, 2022

Hand Gesture Recognition Systems被引用 7

一句话总结

本文提出时序提升池化（Temporal Lift Pooling, TLP），一种受信号处理中提升方案启发的可学习时序下采样方法，用于提升连续手语识别（CSLR）中的特征表示。TLP 通过提升、加权和融合三个阶段，将输入序列分解为低频与高频分量，相较于手工设计的池化方法及当前最先进方法，在两个大规模 CSLR 数据集上实现了 1.5% 的绝对性能提升，且计算开销极低。

ABSTRACT

Pooling methods are necessities for modern neural networks for increasing receptive fields and lowering down computational costs. However, commonly used hand-crafted pooling approaches, e.g., max pooling and average pooling, may not well preserve discriminative features. While many researchers have elaborately designed various pooling variants in spatial domain to handle these limitations with much progress, the temporal aspect is rarely visited where directly applying hand-crafted methods or these specialized spatial variants may not be optimal. In this paper, we derive temporal lift pooling (TLP) from the Lifting Scheme in signal processing to intelligently downsample features of different temporal hierarchies. The Lifting Scheme factorizes input signals into various sub-bands with different frequency, which can be viewed as different temporal movement patterns. Our TLP is a three-stage procedure, which performs signal decomposition, component weighting and information fusion to generate a refined downsized feature map. We select a typical temporal task with long sequences, i.e. continuous sign language recognition (CSLR), as our testbed to verify the effectiveness of TLP. Experiments on two large-scale datasets show TLP outperforms hand-crafted methods and specialized spatial variants by a large margin (1.5%) with similar computational overhead. As a robust feature extractor, TLP exhibits great generalizability upon multiple backbones on various datasets and achieves new state-of-the-art results on two large-scale CSLR datasets. Visualizations further demonstrate the mechanism of TLP in correcting gloss borders. Code is released.

研究动机与目标

• 解决传统手工设计池化方法（如最大池化/平均池化）在连续手语识别中对长序列数据中判别性时序特征保留不足的问题。
• 探索池化机制中常被忽视的时序维度，相较于空间变体，其研究尚不充分。
• 开发一种可泛化、即插即用的时序下采样模块，以在多种主干网络和数据集上增强特征表示。
• 通过优化时序特征层次，提升连续手语识别中的词边界检测与识别准确率。

提出的方法

• TLP 源自信号处理中的提升方案，该方案将输入信号分解为对应不同运动模式的频率子带。
• 该方法包含三个阶段：通过预测与更新步骤实现信号分解，利用可学习参数对分量进行加权，以及通过信息融合生成优化后的下采样特征图。
• 提升过程将输入序列分离为低通分量（平滑运动模式）与高通分量（细节动态），从而实现分层特征学习。
• TLP 采用轻量级 1×1 卷积实现，仅增加 0.4% 的计算成本，具备高效性与可部署性，可作为插件模块使用。
• 该架构设计为主干网络无关，可无缝集成至各类基于 CNN 的 CSLR 模型中。
• TLP 在两个大规模 CSLR 基准数据集上进行评估，仅替换主干网络中的两个池化层。

实验结果

研究问题

• RQ1 受信号处理启发的时序池化机制是否能在连续手语识别中超越传统手工设计池化方法？
• RQ2 TLP 如何通过将时序信号分解为对应运动模式的独立频带子带，来改善特征表示？
• RQ3 在长序列建模背景下，TLP 在不同神经网络主干网络与数据集上的泛化能力如何？
• RQ4 TLP 是否能通过提升词边界检测能力，从而提高连续手语识别的识别准确率？
• RQ5 TLP 是否能在不依赖额外输入（如人脸或手部关键点）的情况下实现最先进性能？

主要发现

• 在 PHOENIX14 数据集上，TLP 相较于标准最大池化与平均池化，将词错误率（WER）降低了 1.5 个百分点，在 PHOENIX14-T 上更是提升了 1.7 个百分点。
• 在 PHOENIX14 数据集上，TLP 将 WER 降低至 19.7%（开发集）与 20.8%（测试集），相比基线 ResNet18 提升了 1.5 个百分点。
• TLP 在多种主干网络（包括 ResNet18、SqueezeNet 和 RegNetY-800Mf）上均表现出一致性能提升，增益范围在 1.0% 至 1.7% 之间。
• TLP 在 PHOENIX14 与 PHOENIX14-T 两个数据集上均取得新的最先进结果，优于使用额外线索（如人脸或手部特征）的方法。
• 可视化结果证实，TLP 生成的词预测更集中且更准确，尤其在纠正边界错位方面显著优于基线方法。
• 该方法泛化能力良好，性能增益与主干网络容量成正比——模型越大，从 TLP 中获益越多，表明其与更强的特征提取器具有良好的协同效应。