[论文解读] Single Image Action Recognition by Predicting Space-Time Saliency

Marjaneh Safaei, Hassan Foroosh|arXiv (Cornell University)|May 12, 2017

Visual Attention and Saliency Detection参考文献 80被引用 4

一句话总结

该论文提出了一种新颖的深度学习方法，用于通过预测未来运动（通过光流）和显著性图来恢复缺失的时间信息，实现单幅图像动作识别。通过将图像映射到预测光流-显著性图（POF-SM）域并微调预训练的CNN，该方法在Willow数据集和一个新的大规模UCFSI-101数据集（包含超过200万张图像）上均取得了最先进性能。

ABSTRACT

We propose a novel approach based on deep Convolutional Neural Networks (CNN) to recognize human actions in still images by predicting the future motion, and detecting the shape and location of the salient parts of the image. We make the following major contributions to this important area of research: (i) We use the predicted future motion in the static image (Walker et al., 2015) as a means of compensating for the missing temporal information, while using the saliency map to represent the the spatial information in the form of location and shape of what is predicted as significant. (ii) We cast action classification in static images as a domain adaptation problem by transfer learning. We first map the input static image to a new domain that we refer to as the Predicted Optical Flow-Saliency Map domain (POF-SM), and then fine-tune the layers of a deep CNN model trained on classifying the ImageNet dataset to perform action classification in the POF-SM domain. (iii) We tested our method on the popular Willow dataset. But unlike existing methods, we also tested on a more realistic and challenging dataset of over 2M still images that we collected and labeled by taking random frames from the UCF-101 video dataset. We call our dataset the UCF Still Image dataset or UCFSI-101 in short. Our results outperform the state of the art.

研究动机与目标

• 为解决由于缺乏时间信息而导致的静态图像中人类动作识别的挑战。
• 利用人类感知能力预测未来运动和显著的身体部位，作为动作识别的线索。
• 通过在新的POF-SM特征空间中进行域自适应，提升在动作类别有限的数据集上的性能。
• 构建并基于一个从UCF-101视频中提取的包含200万张静态图像的大规模真实数据集进行评估。
• 证明预测运动与空间显著性共同提供了强大的判别信号，可用于静态图像中的动作识别。

提出的方法

• 该方法使用预训练模型从单幅图像预测密集光流（Walker et al., 2015），以预测图像中的未来运动。
• 生成显著性图以识别图像中空间上显著的身体部位及其形状。
• 通过将预测的光流图与显著性图结合，将输入图像转换到一种称为预测光流-显著性图（POF-SM）域的新域。
• 在POF-SM域上对预训练的ImageNet CNN进行微调，以执行动作分类，利用迁移学习实现域自适应。
• 该方法使用从UCF-101视频中收集的包含200万张静态图像的大规模数据集，动作标签保留自原始视频。
• 在标准的Willow数据集和新提出的UCFSI-101数据集上进行评估，以验证方法的泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 在单幅图像中预测的未来运动和空间显著性是否足以提供准确动作识别的线索？
• RQ2 与标准图像表示相比，将静态图像映射到POF-SM域是否能提升动作识别性能？
• RQ3 从ImageNet到POF-SM域的迁移学习是否能有效适应深度CNN用于单幅图像动作识别任务？
• RQ4 该方法在从视频中提取的大规模真实静态图像数据集上的表现如何？
• RQ5 该模型是否能泛化到依赖身体运动而非人-物体交互的动作？

主要发现

• 所提方法在Willow数据集上实现了最先进性能，优于现有的单幅图像动作识别方法。
• 在新提出的包含超过200万张图像的UCFSI-101数据集上，该方法显著优于先前的最先进方法。
• 预测光流与显著性图的结合提供了强大的判别特征，可有效补偿静态图像中缺失的时间信息。
• 在POF-SM域上微调预训练的ImageNet CNN带来了显著的性能提升，验证了域自适应策略的有效性。
• 该方法在依赖身体运动而非物体交互的动作上表现出良好的泛化能力，证明了其在缺乏上下文物体情况下的鲁棒性。
• 结果证实，类人对未来的运动预测以及对显著身体部位的关注，是静态图像动作识别的强大先验信息。