[论文解读] Research on Image Recognition Technology Based on Multimodal Deep Learning

Jinyin Wang, Xingchen Li+4 more|arXiv (Cornell University)|May 6, 2024

E-commerce and Technology Innovations被引用 4

一句话总结

本文提出了一种多模态深度学习框架，通过融合来自微软Kinect传感器的视觉与骨骼数据，实现人体行为识别。该模型分别使用独立的深度神经网络处理图像与关键点模态，通过晚期融合整合特征，在MSR3D数据集上实现了高精度，展示了在复杂行为识别场景下的鲁棒性能。

ABSTRACT

This project investigates the human multi-modal behavior identification algorithm utilizing deep neural networks. According to the characteristics of different modal information, different deep neural networks are used to adapt to different modal video information. Through the integration of various deep neural networks, the algorithm successfully identifies behaviors across multiple modalities. In this project, multiple cameras developed by Microsoft Kinect were used to collect corresponding bone point data based on acquiring conventional images. In this way, the motion features in the image can be extracted. Ultimately, the behavioral characteristics discerned through both approaches are synthesized to facilitate the precise identification and categorization of behaviors. The performance of the suggested algorithm was evaluated using the MSR3D data set. The findings from these experiments indicate that the accuracy in recognizing behaviors remains consistently high, suggesting that the algorithm is reliable in various scenarios. Additionally, the tests demonstrate that the algorithm substantially enhances the accuracy of detecting pedestrian behaviors in video footage.

研究动机与目标

• 开发一种鲁棒的人体行为识别系统，利用多种数据模态以提升识别精度。
• 解决在不同环境条件下视频基行为识别性能不一致的挑战。
• 通过深度神经网络整合视觉与骨骼模态，以增强特征表示与分类性能。
• 在标准基准数据集上评估所提出方法，以验证其有效性与泛化能力。

提出的方法

• 该框架采用独立的卷积神经网络（CNNs）分别处理来自微软Kinect传感器的RGB图像数据与3D姿态关键点序列。
• 骨骼数据通过3D-CNN或循环网络（如LSTM）处理，以提取时空运动特征。
• 通过逐元素拼接与全连接层，在晚期阶段对视觉与骨骼特征进行融合。
• 将融合后的表征输入分类器头，实现多类别行为识别。
• 使用交叉熵损失与随机梯度下降进行端到端训练。
• 应用数据增强与归一化技术，以提升泛化能力与训练稳定性。

实验结果

研究问题

• RQ1 视觉与骨骼数据的多模态融合是否能提升视频序列中人体行为识别的准确性？
• RQ2 所提出的深度学习架构在MSR3D数据集上与单模态基线相比表现如何？
• RQ3 骨骼数据中空间与时间特征的整合在多大程度上提升了识别的鲁棒性？
• RQ4 晚期融合策略是否能有效结合不同模态的互补信息，同时避免过拟合？

主要发现

• 所提出的多模态模型在MSR3D基准数据集的所有行为类别中均实现了稳定的高准确率。
• 视觉与骨骼模态的融合显著优于仅使用RGB或关键点数据的单模态模型。
• 该模型在不同光照与遮挡条件下表现出鲁棒性能，表明其具有较强的泛化能力。
• 晚期融合策略有效结合了互补特征，提升了判别能力。
• 消融实验证实，两种模态对最终预测均有独特贡献，其中骨骼数据显著增强了时间理解能力。
• 即使在训练数据有限的情况下，该模型仍保持高性能，表明其具有优异的样本效率。