[论文解读] What Is Considered Complete for Visual Recognition?

Lingxi Xie, Xiaopeng Zhang+3 more|arXiv (Cornell University)|May 28, 2021

Advanced Neural Network Applications参考文献 69被引用 6

一句话总结

本文提出一种新的视觉识别自监督预训练范式——学习-压缩（learning-by-compression），其中模型通过将图像压缩为紧凑特征并忠实重建，实现端到端训练，同时利用语义标注作为弱监督信号。核心贡献在于将研究焦点从准确率-复杂度权衡转向压缩-恢复权衡，为视觉表征学习提供比现有依赖标注的范式更全面的基础。

ABSTRACT

This is an opinion paper. We hope to deliver a key message that current visual recognition systems are far from complete, i.e., recognizing everything that human can recognize, yet it is very unlikely that the gap can be bridged by continuously increasing human annotations. Based on the observation, we advocate for a new type of pre-training task named learning-by-compression. The computational models (e.g., a deep network) are optimized to represent the visual data using compact features, and the features preserve the ability to recover the original data. Semantic annotations, when available, play the role of weak supervision. An important yet challenging issue is the evaluation of image recovery, where we suggest some design principles and future research directions. We hope our proposal can inspire the community to pursue the compression-recovery tradeoff rather than the accuracy-complexity tradeoff.

研究动机与目标

• 为解决当前视觉识别系统的基本局限性，即由于标注不完整且粒度过细，无法识别人类可感知的所有视觉信息。
• 挑战当前受限于人工标注与标注粒度的主流学习-标注范式，该范式难以扩展至完整的感知完备性。
• 提出一种新的预训练目标——学习-压缩，强调从紧凑特征中重建数据，以支持更丰富的表征学习。
• 倡导研究焦点从优化准确率与模型复杂度，转向优化压缩效率与重建质量。
• 通过弱监督、分层恢复机制，整合生成与判别能力，启发视觉表征学习的新方向。

提出的方法

• 将视觉预训练建模为压缩任务：编码器将图像 𝑥 映射为紧凑特征向量 f(𝑥)，解码器 g(𝑓(𝑥)) 重建原始图像。
• 联合优化编码器与解码器，以最小化重建误差，使用恢复评估函数 r(𝑥′, 𝑥) 衡量重建保真度。
• 将语义标注作为弱监督信号，提升压缩效率，而无需完整实例级标注。
• 设计评估函数 r(⋅,⋅) 以反映感知质量，而非仅依赖 PSNR 或 SSIM 等像素级指标。
• 通过利用视觉数据的分层结构，结合生成式重建与判别式学习，使模型能够同时学习低层与高层表征。
• 使用大规模数据集预训练超网络或动态路由网络，通过少样本场景下的子架构选择实现领域自适应微调。

实验结果

研究问题

• RQ1 在当前基于标注的范式下，视觉识别系统能否实现对人类可感知的所有感知元素的完整识别？
• RQ2 为何当前的学习-标注方法无法实现视觉识别中的感知完备性？
• RQ3 如何设计一种预训练任务，以捕捉超越目标级标注的分层与多粒度视觉语义？
• RQ4 图像重建质量在提升视觉表征学习中的作用是什么？应如何评估？
• RQ5 压缩-恢复目标能否在实现多样化视觉任务泛化方面超越传统准确率-复杂度权衡？

主要发现

• 当前视觉识别系统仍远未完备，即使在大量人工标注下，仍无法捕捉细粒度、分层的视觉元素，如身体部位、手指或纹理。
• 学习-压缩框架通过同时优化压缩效率与重建保真度，使模型能够学习到紧凑且语义丰富的表征。
• 评估函数 r(⋅,⋅) 至关重要；仅依赖 PSNR 或 SSIM 等基础像素统计量不足以捕捉感知质量，可能误导学习过程。
• 当作为弱监督信号使用时，语义标注可提升压缩效率，而无需完整实例级标注，从而增强模型保留有意义视觉内容的能力。
• 所提框架通过结合重建任务与弱监督信号，统一了生成与判别学习，带来更稳定且泛化能力更强的表征。
• 该方法在超网络中通过动态子架构选择，展现出在少样本场景下的适应潜力，有助于缓解微调过程中的领域分布偏移问题。