[论文解读] What you need to know about the state-of-the-art computational models of object-vision: A tour through the models

Seyed‐Mahdi Khaligh‐Razavi|arXiv (Cornell University)|Jul 10, 2014

Advanced Image and Video Retrieval Techniques参考文献 59被引用 8

一句话总结

本文全面综述了最先进的物体视觉计算模型，按训练范式（监督、无监督或手工设计）、架构深度（浅层或深层）和学习机制进行分类。文章对每种模型如何提取与任务相关的视觉特征提供了直观且技术性的洞察，特别强调了近年来基于数百万张图像训练、无需人工调优即可学习信息性表征的数据驱动模型。

ABSTRACT

Models of object vision have been of great interest in computer vision and visual neuroscience. During the last decades, several models have been developed to extract visual features from images for object recognition tasks. Some of these were inspired by the hierarchical structure of primate visual system, and some others were engineered models. The models are varied in several aspects: models that are trained by supervision, models trained without supervision, and models (e.g. feature extractors) that are fully hard-wired and do not need training. Some of the models come with a deep hierarchical structure consisting of several layers, and some others are shallow and come with only one or two layers of processing. More recently, new models have been developed that are not hand-tuned but trained using millions of images, through which they learn how to extract informative task-related features. Here I will survey all these different models and provide the reader with an intuitive, as well as a more detailed, understanding of the underlying computations in each of the models.

研究动机与目标

• 为物体视觉研究中的多样化计算模型提供统一且易于理解的概述。
• 阐明监督、无监督与硬连线模型在视觉特征提取中的区别。
• 解释浅层与深层分层模型背后的基本计算机制。
• 突出现代模型中从大规模图像数据集进行端到端学习的趋势。
• 通过阐释模型设计选择的背景，弥合计算机视觉、神经科学与机器学习领域之间的理解鸿沟。

提出的方法

• 根据训练范式对物体视觉模型进行分类：监督、弱监督、无监督或非学习型（手工调优）。
• 分析具有分层架构的模型，特别是具有多层特征抽象的深层网络。
• 研究通过大规模图像数据集进行端到端训练、无需人工工程的特征学习模型。
• 比较受灵长类视觉系统解剖结构启发的模型与通过工程直觉设计的模型。
• 对不同类型模型的特征提取机制提供直观与技术性双重解释。
• 使用可视化和概念性描述，说明深层网络中特征如何在各层间演化。

实验结果

研究问题

• RQ1 在物体视觉系统中，监督、无监督与手工设计模型之间的关键差异是什么？
• RQ2 深层分层模型在架构与功能上如何区别于浅层模型在视觉特征学习中的表现？
• RQ3 大规模图像数据在训练现代物体视觉模型中扮演什么角色，使其无需人工特征工程？
• RQ4 受灵长类视觉系统启发的模型与纯工程化模型在性能与生物合理性方面有何比较？
• RQ5 最先进的物体视觉模型中特征提取过程的核心计算原理是什么？

主要发现

• 现代物体视觉模型越来越多地依赖于使用数百万张图像进行端到端训练，以自动学习信息丰富且与任务相关的特征。
• 具有多层的深层分层模型在特征抽象能力上显著优于仅有一到两层的浅层模型。
• 无监督与自监督模型已发展为全监督方法的有力替代方案，减少了对人工标注标签的依赖。
• 手工调校的非学习型模型（如SIFT和HOG）在特定任务中仍具相关性，尤其在强调可解释性与鲁棒性时。
• 受灵长类视觉系统启发的模型通常表现出更好的生物合理性，尽管其性能可能落后于最先进的深度学习模型。
• 本文建立了一个分类体系，清晰阐明了物体视觉模型的设计空间，有助于研究人员根据具体应用选择合适模型。