[论文解读] Thoughts on a Recursive Classifier Graph: a Multiclass Network for Deep Object Recognition

Marius Leordeanu, Rahul Sukthankar|arXiv (Cornell University)|Apr 2, 2014

Advanced Image and Video Retrieval Techniques参考文献 36被引用 4

一句话总结

本文提出一种基于图的递归多类分类器架构——分类器图（Classifier Graph），通过在所有抽象层次上实现分类器之间的动态双向交互，统一了层次化视觉识别。它通过在不断增长的特征池上进行逻辑回归实现增量学习，特征池包括手工设计的描述符和先前学习到的分类器，通过递归特征重用和可扩展的端到端框架中的上下文建模实现强大泛化能力。

ABSTRACT

We propose a general multi-class visual recognition model, termed the Classifier Graph, which aims to generalize and integrate ideas from many of today's successful hierarchical recognition approaches. Our graph-based model has the advantage of enabling rich interactions between classes from different levels of interpretation and abstraction. The proposed multi-class system is efficiently learned using step by step updates. The structure consists of simple logistic linear layers with inputs from features that are automatically selected from a large pool. Each newly learned classifier becomes a potential new feature. Thus, our feature pool can consist both of initial manually designed features as well as learned classifiers from previous steps (graph nodes), each copied many times at different scales and locations. In this manner we can learn and grow both a deep, complex graph of classifiers and a rich pool of features at different levels of abstraction and interpretation. Our proposed graph of classifiers becomes a multi-class system with a recursive structure, suitable for deep detection and recognition of several classes simultaneously.

研究动机与目标

• 将多种层次化识别方法统一到一个单一、灵活的基于图的框架中，支持所有抽象层次上类之间的丰富上下文交互。
• 通过逐步添加分类器和扩展特征池，实现复杂视觉识别系统的高效增量学习。
• 通过消除刚性层次边界并允许分类器之间任意有向连接，推广并统一现有方法（如级联检测器、基于部件的模型和深度网络）。
• 通过从先前学习到的分类器中提取共享且可重用的特征，支持多类识别，提升泛化能力和模型复杂度。
• 通过将图扩展以包含时间动态，实现对事件序列及其相对顺序的建模，支持时空识别。

提出的方法

• 分类器图是一个有向无环图，其中每个节点代表一个在特定空间区域、尺度和位置上运行的逻辑回归线性分类器。
• 特征从一个不断增长的特征池中动态选择，该池包括原始/中级描述符以及在不同尺度和位置上复制的先前训练好的分类器。
• 每个新分类器通过使用当前特征池中最相关特征的监督逻辑回归进行训练，实现增量且高效的学。
• 通过创建多个缩放和定位的副本，将学习到的分类器重新用作特征，并将其重新添加到特征池中以供未来使用。
• 图结构允许节点之间存在兴奋性和抑制性影响，从而对物体部件、属性和场景之间的上下文关系进行建模。
• 该系统支持递归推理，并可通过引入时间窗口和动态注意力机制，扩展至时空识别。

实验结果

研究问题

• RQ1 如何在不强制采用严格自顶向下的结构的前提下，构建一个统一的深度学习框架，以整合视觉识别中的层次化、上下文化和递归推理？
• RQ2 是否可以使用简单高效的学规则逐步扩展分类器图，同时保持强泛化能力和特征重用性？
• RQ3 在多类系统中，早期阶段学习到的分类器在多大程度上可作为后期分类的有效、可重用特征？
• RQ4 如何在深度递归架构中有效建模物体部件、属性和场景之间的上下文关系？
• RQ5 通过将图扩展以包含时间依赖性和事件顺序，该框架是否能够支持时空识别？

主要发现

• 分类器图在所有抽象层次上实现了分类器之间的丰富双向上下文交互，通过动态上下文建模显著提升了识别性能。
• 通过在多个尺度和位置上重用学习到的分类器作为特征，系统实现了强泛化能力，形成了一个不断增长的可重用视觉概念库。
• 通过在选定特征上进行逻辑回归的增量训练，实现了无需反向传播或复杂优化的高效可扩展学习。
• 该方法将多种现有方法（如级联检测器、基于部件的模型和分层HMM）统一到一个灵活的单一框架中。
• 递归结构支持空间和时间推理，能够识别视频中的事件序列及其相对顺序。
• 该模型的学习动态与海马体中的生物学习相似，表明其与神经科学中关于增量、序列化学习的原理具有一致性。