[论文解读] Zoom-Net: Mining Deep Feature Interactions for Visual Relationship Recognition

Guojun Yin, Lu Sheng+5 more|arXiv (Cornell University)|Jul 13, 2018

Multimodal Machine Learning Applications参考文献 43被引用 16

一句话总结

Zoom-Net 通过引入一种新颖的特征交互框架，用于视觉关系识别，该框架利用空间-上下文-外观模块（SCA-M），通过两种新型池化单元——对比 ROI 池化与金字塔 ROI 池化——在物体特征与谓词特征之间实现双向信息传递。该方法在 Visual Genome 数据集上实现了最先进性能，且无需依赖语言先验或外部文本数据，将短语预测的召回率提升最多达 6.46%，谓词预测的召回率提升最多达 3.62%（Rec@100, k=70）。

ABSTRACT

Recognizing visual relationships among any pair of localized objects is pivotal for image understanding. Previous studies have shown remarkable progress in exploiting linguistic priors or external textual information to improve the performance. In this work, we investigate an orthogonal perspective based on feature interactions. We show that by encouraging deep message propagation and interactions between local object features and global predicate features, one can achieve compelling performance in recognizing complex relationships without using any linguistic priors. To this end, we present two new pooling cells to encourage feature interactions: (i) Contrastive ROI Pooling Cell, which has a unique deROI pooling that inversely pools local object features to the corresponding area of global predicate features. (ii) Pyramid ROI Pooling Cell, which broadcasts global predicate features to reinforce local object features.The two cells constitute a Spatiality-Context-Appearance Module (SCA-M), which can be further stacked consecutively to form our final Zoom-Net.We further shed light on how one could resolve ambiguous and noisy object and predicate annotations by Intra-Hierarchical trees (IH-tree). Extensive experiments conducted on Visual Genome dataset demonstrate the effectiveness of our feature-oriented approach compared to state-of-the-art methods (Acc@1 11.42% from 8.16%) that depend on explicit modeling of linguistic interactions. We further show that SCA-M can be incorporated seamlessly into existing approaches to improve the performance by a large margin. The source code will be released on https://github.com/gjyin91/ZoomNet.

研究动机与目标

• 解决在不依赖语言先验或外部文本数据的前提下，识别图像中复杂视觉关系的挑战。
• 通过增强局部化物体与全局谓词之间特征交互，提升视觉关系识别性能。
• 通过分层标注策略，缓解 Visual Genome 数据集中标签模糊性与长尾分布问题。
• 设计一种可迁移的模块（SCA-M），可集成至现有模型中以提升性能。

提出的方法

• 提出对比 ROI 池化单元，执行 deROI 池化，将局部物体特征反向投影至全局谓词特征的空间上下文中，实现空间对齐的特征学习。
• 提出金字塔 ROI 池化单元，将全局谓词特征广播至其空间区域，以增强局部物体特征。
• 将两种池化单元结合，构成空间-上下文-外观模块（SCA-M），实现在主语、谓词与宾语之间的多尺度、双向特征交互。
• 在端到端网络中堆叠多个 SCA-M 模块块，实现物体与谓词表征之间深层信息传播。
• 构建类内分层树（IH-trees），用于建模类内标签相关性，降低噪声或不平衡标注的影响。
• 将 SCA-M 集成至现有模型（如 CAI），验证其可迁移性及性能增益，且无需修改原始网络结构。

实验结果

研究问题

• RQ1 在不使用语言先验或外部文本数据的前提下，物体与谓词表征之间的深层特征交互是否能显著提升视觉关系识别性能？
• RQ2 局部物体与全局谓词之间具有空间感知能力的特征传播，如何提升关系预测的准确性？
• RQ3 可学习模块 SCA-M 在 Visual Genome 数据集上的不同评估指标上，性能提升程度如何？
• RQ4 所提出的 IH-tree 策略是否能有效缓解视觉关系数据集中模糊与长尾标注的影响？

主要发现

• Zoom-Net 在 Visual Genome 数据集上实现最先进性能，当 k=70 时，谓词预测的 Rec@100 提升 3.62%（从 85.64% 提升至 90.59%），且未使用外部语言数据。
• 在短语预测任务中，Zoom-Net 相较于先前最先进方法，Rec@50 提升 6.46%（24.82% 对比 18.36%），且未使用知识蒸馏。
• 当集成至 CAI 模型（CAI + SCA-M）时，性能显著提升，谓词预测 Rec@50 提升 2.39%，关系预测 Rec@50 提升 2.49%。
• SCA-M 模块具有高度可迁移性，在多个基线模型上均显著提升性能，体现其泛化能力。
• 即使在联合预测三个组件（主语、谓词、宾语）时，该方法仍表现优异，优于依赖真实主语/宾语标签的方法。
• 类内分层树（IH-tree）能有效建模标签相关性，有助于减轻 Visual Genome 数据集中模糊与长尾标注的影响。