[论文解读] What is Holding Back Convnets for Detection?

Bojan Pepik, Rodrigo Benenson+2 more|arXiv (Cornell University)|Aug 12, 2015

Advanced Neural Network Applications参考文献 11被引用 21

一句话总结

本文研究了尽管经过大规模训练，当前最先进（SOTA）的卷积神经网络（ConvNets）在目标检测任务中表现不佳的原因，揭示其在旋转、遮挡、截断以及小物体尺寸等外观因素上缺乏不变性。通过使用Pascal3D+数据集和合成渲染图像，作者表明架构限制——而不仅仅是数据量——是性能瓶颈的根源，并证明真实感合成数据能显著提升检测准确率，在Pascal3D+上实现了67.2的SOTA平均精度均值（mAP）。

ABSTRACT

Convolutional neural networks have recently shown excellent results in general object detection and many other tasks. Albeit very effective, they involve many user-defined design choices. In this paper we want to better understand these choices by inspecting two key aspects "what did the network learn?", and "what can the network learn?". We exploit new annotations (Pascal3D+), to enable a new empirical analysis of the R-CNN detector. Despite common belief, our results indicate that existing state-of-the-art convnet architectures are not invariant to various appearance factors. In fact, all considered networks have similar weak points which cannot be mitigated by simply increasing the training data (architectural changes are needed). We show that overall performance can improve when using image renderings for data augmentation. We report the best known results on the Pascal3D+ detection and view-point estimation tasks.

研究动机与目标

• 识别当前ConvNet架构在目标检测中，特别是在对旋转、尺寸、截断和遮挡等外观因素的不变性方面的关键局限。
• 确定仅增加训练数据量是否足以克服检测任务中的性能瓶颈。
• 评估合成图像渲染技术（如线框图、带纹理的模型、纹理迁移）在提升检测泛化能力方面的有效性。
• 确定是否需要对网络架构进行修改，以解决在检测小物体、截断或遮挡物体时的持续性弱点。
• 通过数据增强策略，在Pascal3D+目标检测与视角估计基准上实现最先进性能。

提出的方法

• 利用带有详细3D标注的Pascal3D+数据集，实现对不同外观因素下检测性能的细粒度分析。
• 使用在真实数据和合成数据上微调过的预训练ConvNets（AlexNet、GoogleNet、VGG16）训练R-CNN流程，并采用SVM分类器生成最终检测分数。
• 使用CAD模型生成具有不同真实感的合成训练数据：线框图、纯色纹理和纹理迁移技术，以模拟真实世界的变化。
• 以不同比例（如1:2的真实数据:合成数据）组合真实与合成数据，评估数据效率和性能增益。
• 引入针对尺寸特定的模型以及增强边界框回归的模型，以改善对小物体和定位不佳物体的检测。
• 使用mAP和AAVP（平均角度视角预测）指标评估性能，以衡量检测和3D姿态估计的准确性。

实验结果

研究问题

• RQ1 当前最先进（SOTA）的ConvNets在目标检测中是否对旋转、尺寸、截断和遮挡等关键外观因素具有不变性？
• RQ2 仅通过增加真实训练数据量，能在多大程度上提升性能？
• RQ3 合成图像渲染（尤其是真实感逐步提升的渲染）是否能显著改善在具有挑战性的样本上的检测性能？
• RQ4 哪种类型的合成数据（如线框图、带纹理的模型、纹理迁移）能带来最有效的性能提升？
• RQ5 为克服在小物体、截断或遮挡物体检测中的持续性弱点，需要进行哪些架构或训练策略的修改？

主要发现

• 所有评估的SOTA ConvNets（AlexNet、GoogleNet、VGG16）在检测小物体、截断物体和遮挡物体时表现出相似的弱点，表明问题源于架构限制而非数据稀缺。
• 单纯增加真实训练数据无法解决这些弱点，表明需要对架构或归纳偏置进行修改。
• 合成渲染显著提升了检测性能：仅使用纹理迁移渲染数据，mAP相比仅使用真实数据提升了4个百分点（从51.2提升至55.2，使用VGG16）。
• 以1:2的真实数据:合成数据比例组合时达到最佳平衡，使用纹理迁移和组合模型时mAP达到64.1。
• 引入尺寸特定模型和边界框回归后，mAP进一步提升至67.2，为Pascal3D+目标检测任务报告的最高结果。
• 最终模型在视角估计任务中达到43.8的AAVP，展示了在3D物体姿态预测方面的SOTA性能。