[论文解读] What have we learned from deep representations for action recognition?

Christoph Feichtenhofer, Axel Pinz+2 more|arXiv (Cornell University)|Jan 4, 2018

Human Pose and Action Recognition被引用 30

一句话总结

本文提出时空正则化激活最大化方法，用于可视化深度双流视频动作识别模型，揭示其学习到的是结合外观与运动的、分布式的、类别特定的时空特征。主要贡献在于首次可视化了层次化的运动表征，表明跨流融合实现了真正的时空特征学习，并揭示了模型的优势与数据集偏差。

ABSTRACT

As the success of deep models has led to their deployment in all areas of computer vision, it is increasingly important to understand how these representations work and what they are capturing. In this paper, we shed light on deep spatiotemporal representations by visualizing what two-stream models have learned in order to recognize actions in video. We show that local detectors for appearance and motion objects arise to form distributed representations for recognizing human actions. Key observations include the following. First, cross-stream fusion enables the learning of true spatiotemporal features rather than simply separate appearance and motion features. Second, the networks can learn local representations that are highly class specific, but also generic representations that can serve a range of classes. Third, throughout the hierarchy of the network, features become more abstract and show increasing invariance to aspects of the data that are unimportant to desired distinctions (e.g. motion patterns across various speeds). Fourth, visualizations can be used not only to shed light on learned representations, but also to reveal idiosyncracies of training data and to explain failure cases of the system.

研究动机与目标

• 理解视频动作识别模型中深层时空表征实际学习的内容，因其组合结构使得内部推理困难。
• 开发一种无需依赖特定输入样本的内部特征可视化方法，避免受训练数据偏差的影响。
• 研究外观与运动路径在双流网络中的交互方式，以及融合是否能产生真正的时空特征。
• 利用可视化结果诊断模型失败原因，并揭示基准数据集（如UCF101）中的隐藏数据集偏差。

提出的方法

• 通过在输入上反向传播梯度，提出时空正则化激活最大化方法，以寻找使单元激活最大的刺激。
• 应用梯度上升优化合成输入（从白噪声生成），以最大化双流网络中外观分支和运动分支的滤波器响应。
• 使用正则化强制实现时空一致性，确保可视化结果反映合理的视频类模式，而非伪影。
• 对VGG-16双流融合模型的多个网络层进行特征可视化，以分析分层抽象与不变性。
• 通过比较不同时间正则化水平（χ）下的可视化结果，评估模型对运动速度和模式变化的鲁棒性。
• 通过最大化分类输出单位，分析类别预测单元，揭示驱动特定动作分类的特征。

实验结果

研究问题

• RQ1 深度双流网络在动作识别中学习了何种类型的时空特征？
• RQ2 跨流融合是否导致真正的时空表征，还是仅学习了分离的外观与运动特征？
• RQ3 所学特征在特异性上如何变化——是捕捉了类别特定的模式，还是通用的运动/外观线索？
• RQ4 可视化在多大程度上揭示了动作识别模型中的数据集偏差或失败模式？
• RQ5 可视化能否揭示易混淆动作类别之间的细微差异，例如 PlayingCello 与 PlayingViolin？

主要发现

• 跨流融合使网络能够学习真正的时空特征，例如某滤波器在外观分支中对彩色斑块激活，在运动分支中对移动的圆形区域激活，二者共同支持对 Billiards 等动作的识别。
• 网络同时学习高度类别特定的特征（如 CleanAndJerk 动作中的杠铃和身体运动）以及通用表征（如肢体和运动模式），后者可在不同类别间泛化。
• 随着特征在网络层次中逐层传递，其表征变得更加抽象且对无关变化（如运动速度）具有不变性，表明实现了渐进式抽象。
• 可视化显示，PlayingCello 与 PlayingViolin 的混淆源于模型关注乐器的摆放方向（水平 vs. 垂直），而非细微的运弓技术差异。
• BrushingTeeth 与 ShavingBeard 的混淆源于面部附近工具的局部运动与外观相似，模型未能区分工具运动和面部结构的细微差异。
• 模型通过检测 ApplyLipstick 中的眼部运动来区分 ApplyEyeMakeup 与 ApplyLipstick，揭示了数据集中一个特殊现象：在前一类中眼睛通常保持静止。