[论文解读] Yes-Net: An effective Detector Based on Global Information

Liangzhuang Ma, Xin Kan+3 more|arXiv (Cornell University)|Jun 28, 2017

Advanced Neural Network Applications参考文献 3被引用 4

一句话总结

Yes-Net 提出了一种实时目标检测框架，通过在 CNN 主干网络中引入基于 RNN 的模块来整合全局上下文，从而增强特征表示。它使用全维 k-means 算法独立生成锚框，并用基于 RNN 的过滤机制替代 NMS，使在 416×416 输入下 VOC2007 上的 mAP 达到 79.2%，推理速度为 39 FPS。

ABSTRACT

This paper introduces a new real-time object detection approach named Yes-Net. It realizes the prediction of bounding boxes and class via single neural network like YOLOv2 and SSD, but owns more efficient and outstanding features. It combines local information with global information by adding the RNN architecture as a packed unit in CNN model to form the basic feature extractor. Independent anchor boxes coming from full-dimension k-means is also applied in Yes-Net, it brings better average IOU than grid anchor box. In addition, instead of NMS, Yes-Net uses RNN as a filter to get the final boxes, which is more efficient. For 416 x 416 input, Yes-Net achieves 79.2% mAP on VOC2007 test at 39 FPS on an Nvidia Titan X Pascal.

研究动机与目标

• 开发一种实时目标检测模型，有效利用局部与全局特征表示。
• 通过将循环神经网络（RNN）整合到 CNN 特征提取流程中，提升边界框与类别预测的准确性。
• 用基于 RNN 的过滤机制替代非极大值抑制（NMS）步骤，以实现更快的推理速度。
• 通过全维 k-means 聚类优化锚框生成，相比基于网格的锚框，实现更高的 IoU 性能。
• 在 VOC2007 等标准基准上实现高 mAP 与低推理延迟。

提出的方法

• 将 RNN 模块作为打包单元集成到 CNN 架构中，以捕捉长距离依赖关系并增强全局特征表示。
• 采用全维 k-means 聚类在整张特征图上生成独立的锚框，提升与标准基于网格的锚框生成方式相比的平均 IoU。
• 用基于 RNN 的后处理过滤器替代传统 NMS，更高效地选择最终检测结果。
• 采用类似 YOLOv2 和 SSD 的单阶段检测器架构，直接从最终特征图预测类别得分与边界框。
• 使用标准检测损失函数进行端到端训练，RNN 参数在反向传播过程中与主干网络联合优化。
• 应用多尺度特征融合与空间监督，以提升定位精度。

实验结果

研究问题

• RQ1 在基于 CNN 的目标检测器中集成 RNN 是否能通过建模全局上下文来提升检测精度？
• RQ2 使用全维 k-means 聚类生成锚框是否能获得优于传统基于网格的锚框生成方式的平均 IoU？
• RQ3 基于 RNN 的过滤机制是否能够替代 NMS，同时保持或提升检测性能并减少推理时间？
• RQ4 局部与全局特征融合在多大程度上提升了实时目标检测中的 mAP？
• RQ5 与 YOLOv2 和 SSD 等最先进的一阶段检测器相比，Yes-Net 在 VOC2007 上的速度与精度表现如何？

主要发现

• Yes-Net 在 VOC2007 测试集上使用 416×416 输入分辨率实现了 79.2% 的 mAP。
• 该模型在 Nvidia Titan X Pascal GPU 上运行速度为 39 FPS，证明了其具备实时推理能力。
• 使用全维 k-means 生成锚框相比标准基于网格的锚框生成方式，实现了更高的平均 IoU。
• 基于 RNN 的过滤机制替代了 NMS，同时在不损失检测质量的前提下提升了推理速度。
• 将 RNN 集成到 CNN 主干网络中，通过捕捉全局上下文改善了特征表示，从而提升了定位与分类性能。
• Yes-Net 在保持高推理速度的同时，mAP 超过了基线模型，证实了在单阶段检测器中整合全局信息的有效性。