[论文解读] Visual Chunking: A List Prediction Framework for Region-Based Object Detection

Nicholas Rhinehart, Jiaji Zhou+2 more|arXiv (Cornell University)|Oct 27, 2014

Advanced Image and Video Retrieval Techniques参考文献 32被引用 1

一句话总结

本文提出视觉分块（Visual Chunking），一种基于区域的物体检测列表预测框架，通过将多实例检测建模为序列决策问题，优化多样且高质量的物体检测。该方法采用可学习的、与类别相关的分块增长算法生成候选区域，并结合一种可证明高效的列表优化算法，在PASCAL VOC与SBD数据集上显著提升了基于IoU的性能表现。

ABSTRACT

We consider detecting objects in an image by iteratively selecting from a set of arbitrarily shaped candidate regions. Our generic approach, which we term visual chunking, reasons about the locations of multiple object instances in an image while expressively describing object boundaries. We design an optimization criterion for measuring the performance of a list of such detections as a natural extension to a common per-instance metric. We present an efficient algorithm with provable performance for building a high-quality list of detections from any candidate set of region-based proposals. We also develop a simple class-specific algorithm to generate a candidate region instance in near-linear time in the number of low-level superpixels that outperforms other region generating methods. In order to make predictions on novel images at testing time without access to ground truth, we develop learning approaches to emulate these algorithms' behaviors. We demonstrate that our new approach outperforms sophisticated baselines on benchmark datasets.

研究动机与目标

• 解决基于区域提议在图像中检测重叠或相邻物体的挑战。
• 通过建模列表级别的多样性与覆盖度，超越传统NMS的检测性能。
• 开发一种通用的、与提议无关的框架，通过优化的列表排序提升任意候选检测集合的性能。
• 设计一种类别特定的、基于超像素的分块增长方法，以最大化与真实标注物体的IoU。
• 通过学习模拟所提出算法的检测与排序行为，实现在无真实标注情况下的新图像推理。

提出的方法

• 提出一种列表预测框架，将物体检测视为选择多样且高分的基于区域的检测列表。
• 引入一种基于交并比（IoU）的新型优化准则，将其扩展至多检测情形，实现对所有预测结果的联合推理。
• 设计一种高效且可证明性能的算法，通过利用先前检测的上下文信息，按顺序构建检测列表。
• 采用一种类别特定的、受模仿学习启发的算法，通过最大化与真实标注实例的IoU，将超像素联合体逐步扩展为物体分块。
• 采用递归的、预算灵活的方法，可生成任意长度的列表，支持高精度（短列表）或高召回率（长列表）设置。
• 训练一个模型以在推理阶段模拟分块增长与列表排序算法的行为，从而实现在无真实标注情况下的部署。

实验结果

研究问题

• RQ1 列表预测框架能否在标准NMS与IoU阈值处理之外，进一步提升多实例物体检测性能？
• RQ2 在重叠或相邻物体场景下，如何联合优化物体边界精度与多样性？
• RQ3 类别特定的、基于超像素的分块增长方法能否优于通用区域提议方法（如Selective Search或SCALPEL）？
• RQ4 在推理阶段，学习模型在多大程度上能模拟复杂、不可微分的检测列表算法的行为？
• RQ5 所提出的框架是否能在无需微调的情况下，跨数据集与物体类别实现良好泛化？

主要发现

• 在PASCAL VOC2012上，所提出的列表预测方法在第一项（f(L[0]））的IoU得分为0.581，优于次佳基线方法（SP ∩DPM）的0.56。
• 在SBD Vehicles数据集上，该方法在前5项预测的平均列表得分达到1.25，优于次佳基线方法（SP ∩DPM）的1.07。
• 类别特定的分块增长算法在生成候选区域质量上优于Selective Search与SCALPEL，尤其在相邻物体场景下表现更优。
• 列表预测算法在重叠或相邻物体图像上显著提升了性能，而传统NMS在此类场景下表现不佳。
• 所学习的模型成功模拟了完整流水线在推理阶段的行为，实现了无需真实标注的推理能力。
• 该框架展现出强大的泛化能力，在多个数据集与物体类别（包括车辆、行人及常见VOC类别）上均优于基线方法。