[论文解读] Signs in time: Encoding human motion as a temporal image

Joon Son Chung, Andrew Zisserman|arXiv (Cornell University)|Aug 6, 2016

Hand Gesture Recognition Systems参考文献 11被引用 12

一句话总结

本文提出了一种运动图谱编码方法，将视频序列中的人体动作转化为适合卷积神经网络（ConvNets）处理的紧凑时序图像表示，从而在仅使用弱（片段级）和噪声监督的情况下，实现对短时手语手势的识别与定位。该方法在英国手语手势定位任务上达到最先进性能，优于以往的弱监督方法，并在监督信息极少的情况下与强监督方法表现相当。

ABSTRACT

The goal of this work is to recognise and localise short temporal signals in image time series, where strong supervision is not available for training. To this end we propose an image encoding that concisely represents human motion in a video sequence in a form that is suitable for learning with a ConvNet. The encoding reduces the pose information from an image to a single column, dramatically diminishing the input requirements for the network, but retaining the essential information for recognition. The encoding is applied to the task of recognizing and localizing signed gestures in British Sign Language (BSL) videos. We demonstrate that using the proposed encoding, signs as short as 10 frames duration can be learnt from clips lasting hundreds of frames using only weak (clip level) supervision and with considerable label noise.

研究动机与目标

• 在缺乏强监督的情况下，识别和定位长视频片段中的短时序信号。
• 开发一种紧凑且可学习的人体动作表示，保留对卷积神经网络处理至关重要的时空动态特性。
• 实现仅基于弱标注片段的端到端手语手势学习，且标签噪声较高。
• 证明卷积神经网络可在无显式定位监督的情况下，实现对复杂时序序列（如手语手势）的定位。

提出的方法

• 将身体关键点（手部和头部）的运动编码为类似热力图的图像，以列式格式在时间维度上表示位置与速度。
• 两个通道使用16位精度存储关键点位置，一个通道以8位精度编码时间速度（帧间差分）。
• 通过将关键点坐标的时间序列视为二维图像构建运动图谱，并对垂直方向进行翻转，以减少卷积滤波器的边界效应。
• 采用带批量归一化的改进AlexNet架构，使用加权二元交叉熵损失进行训练，以缓解弱监督数据中的类别不平衡问题。
• 数据增强包括速度变化、随机关键点坐标偏移和亮度缩放，以提升模型鲁棒性。
• 采用缓慢的学习率（从10⁻³降至10⁻⁴）以在高标签噪声条件下稳定训练。

实验结果

研究问题

• RQ1 卷积神经网络能否仅通过片段级弱监督，在长视频片段中学习定位短时复杂时序手势？
• RQ2 如何将人体动作编码为适合基于卷积神经网络学习的紧凑且具有判别力的图像表示？
• RQ3 在手语手势识别任务中，使用噪声大、监督弱的模型在多大程度上可达到强监督方法的性能？
• RQ4 单一统一的表示（运动图谱）能否有效编码空间姿态与时间动态，以支持手势识别？

主要发现

• 在外部BBC测试集上，该方法在多类别手势定位任务中达到62.7%的平均精度均值（mAP），显著优于此前最佳弱监督方法（17.8% mAP）。
• 对于单词“winter”，该方法达到80.8% mAP，超过[8]的强监督方法（50%）和[7]的弱监督方法（18%）。
• 该模型在12秒长的视频片段中，以高精度定位了短至10帧（0.5秒）的手势，即使目标对非专业人士几乎不可见。
• 运动图谱编码使网络能够学习到如手部运动方向与协调性等时间模式，尽管未提供显式定位监督。
• 尽管仅使用弱标注数据进行训练，该方法在性能上与强监督模型相当，尤其在多模态设置下表现优异。
• 训练数据中的标签噪声（20–60%的字幕实际未被手语表达）并未影响模型的强性能，表明其对噪声监督具有鲁棒性。