[论文解读] Towards Holistic Scene Understanding: Feedback Enabled Cascaded Classification Models

Congcong Li, Adarsh Kowdle+2 more|arXiv (Cornell University)|Oct 24, 2011

Advanced Image and Video Retrieval Techniques参考文献 35被引用 45

一句话总结

本文提出反馈增强级联分类模型（FE-CCM），一种黑箱框架，通过在训练过程中使后续分类器向早期分类器反馈信息，联合优化多个相关场景理解任务（如深度估计、目标检测和场景分类）。该方法显著提升了所有任务的性能，并通过学习任务特定的误差权衡，增强了机器人抓取和目标查找的性能。

ABSTRACT

Scene understanding includes many related sub-tasks, such as scene categorization, depth estimation, object detection, etc. Each of these sub-tasks is often notoriously hard, and state-of-the-art classifiers already exist for many of them. These classifiers operate on the same raw image and provide correlated outputs. It is desirable to have an algorithm that can capture such correlation without requiring any changes to the inner workings of any classifier. We propose Feedback Enabled Cascaded Classification Models (FE-CCM), that jointly optimizes all the sub-tasks, while requiring only a `black-box' interface to the original classifier for each sub-task. We use a two-layer cascade of classifiers, which are repeated instantiations of the original ones, with the output of the first layer fed into the second layer as input. Our training method involves a feedback step that allows later classifiers to provide earlier classifiers information about which error modes to focus on. We show that our method significantly improves performance in all the sub-tasks in the domain of scene understanding, where we consider depth estimation, scene categorization, event categorization, object detection, geometric labeling and saliency detection. Our method also improves performance in two robotic applications: an object-grasping robot and an object-finding robot.

研究动机与目标

• 通过联合优化多个相关子任务，而不修改单个分类器，解决整体场景理解的挑战。
• 克服先前级联模型的局限性，即各任务独立优化且缺乏从后序阶段到前序阶段的反馈。
• 通过仅使用输入/输出接口将异构的预训练分类器视为黑箱，实现对它们的联合优化。
• 通过利用跨任务反馈，提升真实世界机器人应用（如目标抓取和目标查找）的性能。
• 允许在部分标签不完整的数据集上进行训练，即并非每个样本都标注了所有子任务，从而提升对异构数据的可扩展性。

提出的方法

• 设计一个两级级联分类器架构，将第一层分类器的输出作为第二层的输入。
• 在训练期间引入反馈机制，使后序分类器能够通过指示哪些误差模式对联合性能至关重要或可忽略，来指导前序分类器。
• 使用一种迭代训练算法，将第一层输出视为潜在变量，并通过反馈驱动的损失函数联合优化所有子任务。
• 支持为每个分类器独立使用训练数据集，使模型能够扩展至异构且部分标注的数据。
• 通过将每个分类器视为黑箱来保持其原始结构，仅需可训练的输入/输出接口，无需修改内部结构。
• 将反馈机制应用于优先纠正对下游任务最有影响的任务特定误差模式，例如在天空区域优先优化深度估计以提升场景分类性能。

实验结果

研究问题

• RQ1 在不修改其内部结构的前提下，后序分类器的反馈能否提升级联模型中前序分类器的性能？
• RQ2 与独立训练单个分类器相比，跨多个场景理解任务的联合优化能在多大程度上提升性能？
• RQ3 反馈机制在引导分类器聚焦于对联合性能影响最大的任务特定误差模式方面有多有效？
• RQ4 所提出的方法能否应用于真实世界机器人任务（如抓取和目标查找），并在有限训练数据下提升鲁棒性？
• RQ5 FE-CCM框架是否可扩展至异构数据集，即并非所有样本都为所有子任务提供标签？

主要发现

• FE-CCM在六个场景理解任务中均实现显著性能提升：深度估计、目标检测、场景分类、事件分类、几何标注和显著性检测。
• 在机器人抓取任务中，FE-CCM在抓取点检测上达到92.2%的准确率，优于基线模型（87.7%）和CCM模型（90.5%）。
• 在抓取任务中的目标分类中，FE-CCM达到49.7%的准确率，显著优于基线模型（45.8%）和CCM模型（49.5%）。
• 在目标查找机器人实验中，FE-CCM仅使用86张正样本图像，通过利用场景分类和几何布局反馈，实现了稳健的鞋子检测。
• 反馈机制使模型能够自动学习有意义的任务关系，例如优先优化天空区域的深度估计以提升场景分类性能。
• 该方法在部分标签不完整的数据集上训练时表现出可扩展性，即并非每张图像都标注了所有子任务，且无需重新训练单个分类器。