[论文解读] Object-to-Scene: Learning to Transfer Object Knowledge to Indoor Scene Recognition

Bo Miao, Liguang Zhou+3 more|arXiv (Cornell University)|Aug 1, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出Object-to-Scene（OTS），一种单流框架，通过分割网络提取高层对象特征，并结合对象特征聚合模块（OFAM），再利用对象注意力模块（OAM）和全局关系聚合模块（GRAM）建模对象间关系，从而提升室内场景识别性能。OTS在不增加额外流的情况下，相比最先进方法准确率提升超过2%，通过显式建模对象级表征与关系学习，展现出卓越性能。

ABSTRACT

Accurate perception of the surrounding scene is helpful for robots to make reasonable judgments and behaviours. Therefore, developing effective scene representation and recognition methods are of significant importance in robotics. Currently, a large body of research focuses on developing novel auxiliary features and networks to improve indoor scene recognition ability. However, few of them focus on directly constructing object features and relations for indoor scene recognition. In this paper, we analyze the weaknesses of current methods and propose an Object-to-Scene (OTS) method, which extracts object features and learns object relations to recognize indoor scenes. The proposed OTS first extracts object features based on the segmentation network and the proposed object feature aggregation module (OFAM). Afterwards, the object relations are calculated and the scene representation is constructed based on the proposed object attention module (OAM) and global relation aggregation module (GRAM). The final results in this work show that OTS successfully extracts object features and learns object relations from the segmentation network. Moreover, OTS outperforms the state-of-the-art methods by more than 2\% on indoor scene recognition without using any additional streams. Code is publicly available at: https://github.com/FreeformRobotics/OTS.

研究动机与目标

• 解决当前室内场景识别方法在利用对象级特征与关系方面效率不足的问题。
• 开发一种统一的单流框架，直接将对象级特征知识迁移至场景级识别。
• 通过基于注意力机制建模长距离对象关系，改进场景表征。
• 在不依赖多流架构或手工设计特征的前提下，实现高于现有方法的准确率。

提出的方法

• 该方法结合分割网络与对象特征聚合模块（OFAM），从输入图像中提取高层语义丰富的对象特征。
• 提出对象注意力模块（OAM），利用灵活的注意力机制隐式学习检测到的对象之间的长距离依赖关系与共现关系。
• 全局关系聚合模块（GRAM）通过深度可分离卷积与逐点卷积融合对象特征与关系，生成高层场景表征向量。
• 全连接层基于聚合后的场景表征执行最终的场景分类。
• 整个框架端到端可训练，作为单流模型运行，避免了对额外特征流的需求。
• 模型使用交叉熵损失进行训练，并在标准室内场景基准上进行评估。

实验结果

研究问题

• RQ1 显式建模对象特征及其关系是否能够超越传统基于特征或全局特征的方法，提升室内场景识别性能？
• RQ2 一种利用基于分割的对象特征、不增加额外流的单流架构在性能上有多高效？
• RQ3 如OAM这样的基于注意力的模块在捕捉长距离对象关系以提升场景表征方面，其效果如何？
• RQ4 GRAM与传统融合方法（如全连接层或池化层）相比，在准确率与效率方面表现如何？

主要发现

• OTS在室内场景识别基准上达到85.9%的top-1准确率，相比最先进方法提升超过2%，且未使用任何额外流。
• 消融实验表明，两个对象注意力块（OAB）性能最佳（85.9%），而增加更多块会因模型复杂度上升导致准确率下降。
• 所提出的对象注意力块仅用120万参数与2.115亿FLOPs即达到85.9%准确率，优于自注意力（84.7%）与非局部模块（82.3%）。
• GRAM仅用230万参数与230万FLOPs即达到最高准确率85.9%，在准确率与效率上显著优于全连接层与池化层。
• 失败案例主要源于对象检测错误——例如，当锅被误检为马桶时，系统将厨房误分类为浴室，表明性能对分割质量高度敏感。
• 仅使用分割网络提取的主干特征已足够实现强场景识别性能，表明在应用恰当的对象级特征学习时，无需额外流。