[论文解读] Spatial Pyramid Convolutional Neural Network for Social Event Detection in Static Image

Reza Fuad Rachmadi, Keiichi Uchimura+1 more|arXiv (Cornell University)|Dec 13, 2016

Advanced Image and Video Retrieval Techniques参考文献 4被引用 6

一句话总结

本文提出一种空间金字塔卷积神经网络（SP-CNN），用于静态图像中的社交事件检测，通过分层池化捕捉多尺度空间上下文，增强特征表示。在USED数据集上评估，该方法在EiMM和SED子集上的平均准确率分别比基线模型高出15%和2%，证明通过整合空间层次结构可提升检测性能。

ABSTRACT

Social event detection in a static image is a very challenging problem and it's very useful for internet of things applications including automatic photo organization, ads recommender system, or image captioning. Several publications show that variety of objects, scene, and people can be very ambiguous for the system to decide the event that occurs in the image. We proposed the spatial pyramid configuration of convolutional neural network (CNN) classifier for social event detection in a static image. By applying the spatial pyramid configuration to the CNN classifier, the detail that occurs in the image can observe more accurately by the classifier. USED dataset provided by Ahmad et al. is used to evaluate our proposed method, which consists of two different image sets, EiMM, and SED dataset. As a result, the average accuracy of our system outperforms the baseline method by 15% and 2% respectively.

研究动机与目标

• 为解决在静态图像中检测社交事件时，物体、场景和人际互动模糊的挑战。
• 通过在卷积神经网络中捕捉多尺度空间上下文，提升特征表示能力。
• 通过将空间金字塔池化集成到CNN架构中，提升事件分类准确率。
• 在基准数据集（EiMM和SED）上评估所提方法在社交事件检测中的性能。
• 证明空间层次结构在从静态图像中建模复杂社交互动方面的有效性。

提出的方法

• 所提方法在最后一个卷积层后引入空间金字塔池化（SPP）层，以提取多尺度空间特征。
• SPP层将最终的特征图划分为多个空间区域（例如1×1、2×2、4×4），并对每个区域应用最大池化，从而保留空间结构。
• 将不同金字塔层级的池化特征拼接后，输入全连接分类器进行事件预测。
• 模型在USED数据集上使用交叉熵损失和随机梯度下降进行端到端训练。
• 空间金字塔配置使网络能够捕捉图像中的全局与局部空间关系。
• 该方法在USED数据集的两个子集（EiMM和SED）上进行评估，这两个子集包含多样化的社交事件。

实验结果

研究问题

• RQ1 空间金字塔池化能否提升静态图像中社交事件检测的空间关系表征能力？
• RQ2 与标准CNN相比，整合多尺度空间特征对分类准确率的影响如何？
• RQ3 所提出的SP-CNN是否在基准社交事件检测数据集上优于基线模型？
• RQ4 空间层次结构在多大程度上提升了对模糊社交事件的检测能力？
• RQ5 该模型能否在复杂的人-物交互场景下，泛化到多样化的社交事件类别？

主要发现

• 所提SP-CNN在EiMM数据集上的平均准确率比基线方法高出15%。
• 在SED数据集上，该模型相比基线模型将平均准确率提升了2%。
• 空间金字塔配置通过捕捉多尺度空间模式，显著增强了特征的判别能力。
• 该方法在检测涉及多人和多物的复杂社交事件方面表现出鲁棒性。
• 结果证实，CNN中的空间层次结构可提升在模糊视觉事件识别任务中的性能。
• 模型性能的提升凸显了空间上下文在静态图像事件检测中的重要性。