[论文解读] Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation

Gengcong Yang, Jingyi Zhang+3 more|arXiv (Cornell University)|Mar 9, 2021

Multimodal Machine Learning Applications参考文献 44被引用 5

一句话总结

本文提出一种即插即用的概率不确定性建模（PUM）模块，将视觉关系表示为高斯分布以建模语义模糊性——同义、上下位及多视角模糊性，从而实现多样化且合理的预测。通过引入基于不确定性感知特征表示的随机性，PUM在与ResCAGCN结合时，提升了平均召回率并覆盖了更多细粒度关系，实现了SOTA性能。

ABSTRACT

To generate "accurate" scene graphs, almost all existing methods predict pairwise relationships in a deterministic manner. However, we argue that visual relationships are often semantically ambiguous. Specifically, inspired by linguistic knowledge, we classify the ambiguity into three types: Synonymy Ambiguity, Hyponymy Ambiguity, and Multi-view Ambiguity. The ambiguity naturally leads to the issue of \emph{implicit multi-label}, motivating the need for diverse predictions. In this work, we propose a novel plug-and-play Probabilistic Uncertainty Modeling (PUM) module. It models each union region as a Gaussian distribution, whose variance measures the uncertainty of the corresponding visual content. Compared to the conventional deterministic methods, such uncertainty modeling brings stochasticity of feature representation, which naturally enables diverse predictions. As a byproduct, PUM also manages to cover more fine-grained relationships and thus alleviates the issue of bias towards frequent relationships. Extensive experiments on the large-scale Visual Genome benchmark show that combining PUM with newly proposed ResCAGCN can achieve state-of-the-art performances, especially under the mean recall metric. Furthermore, we prove the universal effectiveness of PUM by plugging it into some existing models and provide insightful analysis of its ability to generate diverse yet plausible visual relationships.

研究动机与目标

• 解决现有确定性方法忽略的由视觉关系语义模糊性引起的隐式多标签问题。
• 基于语言学知识，建模三种语义模糊性——同义、上下位及多视角模糊性。
• 通过在特征表示中引入不确定性，实现多样化但合理的视觉关系预测。
• 提升对罕见及细粒度关系的覆盖度，缓解对高频谓词的偏差。
• 开发一种即插即用模块（PUM），兼容现有SGG模型，实现性能的普遍提升。

提出的方法

• 将每个区域联合表示为可学习均值与方差的高斯分布，其中方差编码视觉内容的不确定性。
• 将每个特征视为从高斯分布中抽取的随机变量，引入随机性以实现多样化预测。
• 使用概率表示将视觉关系映射到语义空间中的软区域，而非单一点。
• 将PUM作为即插即用模块集成到现有SGG模型（如ResCAGCN）中，无需架构修改。
• 利用不确定性建模自然覆盖多种合理谓词，包括同义词、上下位词及视角依赖描述。
• 通过一种oracle召回率指标（oR）评估多样性，若M个连续预测中任一匹配真实标签即计为命中。

实验结果

研究问题

• RQ1 在视觉关系中建模语义模糊性是否能提升场景图预测的多样性与合理性？
• RQ2 不确定性感知的特征表示在多大程度上减少了场景图生成中对高频关系的偏差？
• RQ3 所提出的PUM模块在即插即用方式下，能否有效提升不同SGG模型的性能？
• RQ4 与确定性方法相比，概率化建模视觉关系是否能更好地捕捉同义、上下位及多视角模糊性？
• RQ5 模型能否为同一视觉关系生成多个合理的谓词，反映人工标注者的多样性？

主要发现

• 当与ResCAGCN结合时，PUM在Visual Genome基准上实现了SOTA性能，尤其在平均召回率指标上表现突出。
• ResCAGCN + PUM的oracle召回率（oR）随连续预测数（M）增加而稳步提升，证明了其有效性。
• 当M = 1时，PUM已优于确定性ResCAGCN，表明其在单个预测上的覆盖能力更强。
• 定性分析显示，PUM能生成语义相近的谓词（如carrying与holding，on与laying on），并捕捉视角差异（如using与in front of）。
• PUM有效覆盖了细粒度关系，缓解了传统模型中对高频谓词的偏差。
• PUM的即插即用特性通过其在多个现有SGG模型上的一致性提升得到验证。