[论文解读] Multi-scale prediction for robust hand detection and classification

Lu Ding, Yong Wang+3 more|arXiv (Cornell University)|Apr 23, 2018

Hand Gesture Recognition Systems参考文献 15被引用 3

一句话总结

本文提出多尺度预测全卷积网络（MSP-RFCN），通过利用多尺度特征图生成密集区域建议并融合预测结果，显著提升了手部检测与分类的性能。该方法在VIVA、Oxford和ARJ数据集上达到最先进水平，在遮挡、低分辨率及光照变化等挑战性条件下表现出更高的准确率与鲁棒性。

ABSTRACT

In this paper, we present a multi-scale Fully Convolutional Networks (MSP-RFCN) to robustly detect and classify human hands under various challenging conditions. In our approach, the input image is passed through the proposed network to generate score maps, based on multi-scale predictions. The network has been specifically designed to deal with small objects. It uses an architecture based on region proposals generated at multiple scales. Our method is evaluated on challenging hand datasets, namely the Vision for Intelligent Vehicles and Applications (VIVA) Challenge and the Oxford hand dataset. It is compared against recent hand detection algorithms. The experimental results demonstrate that our proposed method achieves state-of-the-art detection for hands of various sizes.

研究动机与目标

• 为解决在真实场景中检测小型、形变及遮挡手部的长期挑战。
• 克服现有Faster R-CNN与基于RFCN方法在检测小物体时因特征图下采样及RoI池化错位带来的局限性。
• 通过多尺度特征融合提升在低分辨率、光照变化及遮挡条件下的检测鲁棒性。
• 在多个基准数据集上实现手部检测与分类（左右手、驾驶员/乘客）的最先进性能。
• 设计一种轻量化、高效的检测框架，在保持高精度的同时支持实时推理。

提出的方法

• 该方法采用多尺度预测方案，利用卷积神经网络多个层级的特征图，在不同空间分辨率下生成类别得分与边界框回归结果。
• 不同于通过拼接或相加方式融合特征图，各特征图层级独立预测检测得分与边界框，从而保留尺度特定的不变性与定位精度。
• 通过融合高层（语义信息丰富）与低层（高分辨率）特征图的预测结果，实现语义上下文与空间细节之间的平衡。
• 该方法基于RFCN框架构建，对RPN与检测头网络进行改进，以支持多尺度区域建议与检测。
• 采用位置敏感的ROI池化进行定位，可通过ROI对齐进一步减少量化误差。
• 模型采用端到端训练，分类任务使用交叉熵损失，边界框回归任务使用平滑L1损失。

实验结果

研究问题

• RQ1 多尺度特征图是否能提升真实图像中小型与遮挡手部的检测准确率？
• RQ2 与单尺度检测相比，融合多特征图层级的预测结果在定位与分类性能上是否具有显著提升？
• RQ3 所提出的多尺度RFCN架构是否在具有挑战性的手部检测基准上超越现有最先进方法？
• RQ4 该方法在光照变化、低分辨率及严重遮挡条件下是否保持足够的鲁棒性？
• RQ5 该模型能否在保持高精度的同时实现高实时推理速度，满足实际部署需求？

主要发现

• 在VIVA数据集上，采用ResNet-101时，该方法在L1级别达到95.7% AP与95.3% AR，在L2级别达到91.3% AP与87.6% AR，优于所有对比方法。
• 在手部分类（左右手与驾驶员/乘客）任务中，该方法在左右手分类上达到81.3% AP与72.9% AR，在驾驶员/乘客分类上达到81.7% AP与73.4% AR，显著优于所有基线方法。
• 在Oxford数据集上，采用ResNet-101时，该方法达到83.1% AP与85.2% AR，显著优于先前方法，如Mittal等人（48.2% AP）与MS-RFCN（75.1% AP）。
• 在ARJ数据集上，采用ResNet-101时，该方法达到84.0% AP与86.4% AR，超过FRCNN（68.2% AP）与R-FCN（73.1% AP）。
• 该方法在VIVA数据集上使用VGG16与ResNet-101分别实现4.0–5.0 FPS的实时推理速度，表明其具备实际可部署性。
• 定性结果表明，该方法在遮挡、光照变化及低分辨率条件下均表现出稳健的检测能力，验证了其在真实场景中的强适应性。