[论文解读] Straight to Shapes: Real-time Detection of Encoded Shapes

Saumya Jetley, Michael Sapienza+2 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 34被引用 5

一句话总结

本文提出了一种实时深度学习框架，通过学习到的紧凑且可解码的形状嵌入空间，直接回归物体形状、类别和边界框。通过使用去噪自编码器对单次扫描端到端网络进行训练以嵌入形状，该方法在高端台式机上实现了35 FPS的性能，并通过利用形状相似性实现了对未见类别的泛化，在零样本形状检测方面优于当前最先进水平的实例分割方法。

ABSTRACT

Current object detection approaches predict bounding boxes, but these provide little instance-specific information beyond location, scale and aspect ratio. In this work, we propose to directly regress to objects' shapes in addition to their bounding boxes and categories. It is crucial to find an appropriate shape representation that is compact and decodable, and in which objects can be compared for higher-order concepts such as view similarity, pose variation and occlusion. To achieve this, we use a denoising convolutional auto-encoder to establish an embedding space, and place the decoder after a fast end-to-end network trained to regress directly to the encoded shape vectors. This yields what to the best of our knowledge is the first real-time shape prediction network, running at ~35 FPS on a high-end desktop. With higher-order shape reasoning well-integrated into the network pipeline, the network shows the useful practical quality of generalising to unseen categories similar to the ones in the training set, something that most existing approaches fail to handle.

研究动机与目标

• 为解决边界框检测提供的形状信息极少这一局限性，通过直接回归物体形状来实现改进。
• 开发一种紧凑、可解码且连续的形状嵌入空间，以支持形状比较以及对姿态、遮挡和相似性的推理。
• 通过利用学习嵌入空间中的形状相似性，实现在未见物体类别上的零样本泛化。
• 在形状预测中实现实时性能（35 FPS），克服现有自顶向下/自底向上流水线中的顺序误差累积问题。
• 将形状推理直接集成到检测流水线中，提升重叠或小尺寸实例的掩码精度。

提出的方法

• 在二值实例掩码上训练去噪卷积自编码器，以学习低维、紧凑且可解码的形状嵌入空间。
• 将自编码器的解码器集成到一个快速端到端深度卷积网络中，该网络直接从图像块回归形状向量。
• 使用联合损失函数端到端训练网络，同时回归类别、边界框和形状嵌入向量。
• 形状嵌入空间设计为连续且可解释，支持形状之间的平滑退化和有意义的比较。
• 该架构采用单次前向传播（无顺序后处理），在高端台式机上实现35 FPS的实时推理。
• 该方法在Pascal VOC和MS-COCO上进行评估，零样本泛化在60个未在训练集中出现的COCO类别上进行测试。

实验结果

研究问题

• RQ1 能否训练一个深度网络，在单次前向传播中直接回归物体形状、类别和边界框，并实现实时性能？
• RQ2 学习到的紧凑形状嵌入空间在实现对形状相似的未见物体类别的零样本泛化方面有多有效？
• RQ3 形状嵌入能否在无需显式属性定义的情况下支持更高阶推理，如姿态变化、遮挡和视角相似性？
• RQ4 与结合检测、分割和分类的顺序流水线相比，直接形状回归在准确性和鲁棒性方面表现如何？
• RQ5 基于形状的泛化在多大程度上可以弥补对未见类别中错误类别预测的影响？

主要发现

• 据作者所知，该方法在高端台式机上实现了35 FPS的性能，是首个实时形状预测网络。
• 在PASCAL SBD 2012验证集上，50维形状嵌入模型实现了30.5 mAP r @.5，优于二值掩码和径向向量基线。
• 20维形状嵌入变体实现了31.5 mAP r @.5，表明即使在更小的嵌入空间中也能保持强大性能。
• 在8,037张包含60个未见类别的MS-COCO图像上进行零样本分割时，50维嵌入模型在大物体上实现了7.1 mAP r @.5，建立了强有力的基线。
• 该网络泛化效果良好：未见动物（如老虎和熊）被错误分类为“狗”，但其形状掩码合理，显示出稳健的形状推理能力。
• 该方法在零样本检测方面优于当前最先进水平的实例分割模型，尤其在处理重叠或小尺寸实例以及未见类别方面表现更优。