[论文解读] Unbiased Scene Graph Generation via Rich and Fair Semantic Extraction

Bin Wen, Jie Luo+2 more|arXiv (Cornell University)|Feb 1, 2020

Multimodal Machine Learning Applications参考文献 26被引用 8

一句话总结

本文提出RiFa，一种新型场景图生成模型，有效缓解了两类主要偏差：对关系语义的隐式假设（如对称性）以及训练标注中的类别不平衡问题。通过使用伪孪生网络分别嵌入主语和宾语，并结合上下文感知、与标注无关的评分机制，RiFa在Visual Genome数据集上实现了最先进性能，尤其在捕捉罕见关系及对称性、非对称性等语义特性方面表现突出。

ABSTRACT

Extracting graph representation of visual scenes in image is a challenging task in computer vision. Although there has been encouraging progress of scene graph generation in the past decade, we surprisingly find that the performance of existing approaches is largely limited by the strong biases, which mainly stem from (1) unconsciously assuming relations with certain semantic properties such as symmetric and (2) imbalanced annotations over different relations. To alleviate the negative effects of these biases, we proposed a new and simple architecture named Rich and Fair semantic extraction network (RiFa for short), to not only capture rich semantic properties of the relations, but also fairly predict relations with different scale of annotations. Using pseudo-siamese networks, RiFa embeds the subject and object respectively to distinguish their semantic differences and meanwhile preserve their underlying semantic properties. Then, it further predicts subject-object relations based on both the visual and semantic features of entities under certain contextual area, and fairly ranks the relation predictions for those with a few annotations. Experiments on the popular Visual Genome dataset show that RiFa achieves state-of-the-art performance under several challenging settings of scene graph task. Especially, it performs significantly better on capturing different semantic properties of relations, and obtains the best overall per relation performance.

研究动机与目标

• 解决现有场景图模型中对关系语义属性（如对称性）的固定假设所引入的偏差。
• 缓解因Visual Genome等数据集中标注分布不均导致的低资源关系性能下降问题。
• 开发一种与标注频率无关的公平关系预测排序方法。
• 使模型能够在无先验假设的前提下捕捉关系的细微语义特性（如非对称性、传递性）。
• 证明当偏差被消除后，简单的CNN架构可超越复杂的GNN架构。

提出的方法

• 采用伪孪生网络学习主语和宾语的独立、非对称嵌入，以保留语义差异。
• 从覆盖每个主语-宾语对的最小边界框中提取视觉特征，以捕捉局部上下文信息。
• 将双实体的视觉与语义特征结合，在联合嵌入空间中预测关系。
• 引入一种与标注频率无关的关系评分机制，实现对预测结果的公平排序。
• 采用类似对比学习的目标函数，即使对低资源关系也能鼓励正确预测。
• 端到端训练模型，使用预测关系得分的交叉熵损失，不依赖于关系特定的类别权重。

实验结果

研究问题

• RQ1 对关系对称性及其他语义属性的隐式假设在多大程度上会损害场景图生成性能？
• RQ2 标注不平衡在多大程度上影响场景图模型对罕见关系的泛化能力？
• RQ3 当偏差被消除后，简单的CNN架构能否超越复杂的GNN架构？
• RQ4 统一的评分机制能否在不考虑标注频率的前提下公平地对关系进行排序？
• RQ5 在无先验归纳偏差的前提下，模型在多大程度上能捕捉到非对称性、对称性及可逆性等复杂语义特性？

主要发现

• 在Visual Genome中前50个最常见关系上，RiFa的平均每关系R@100达到48.86%，显著优于Pixel2Graph（41.61%）和MotifNet（37.79%）。
• 在标注比例低于总标注0.5%的关系上，RiFa预测了前15名关系中的40%，展现出对罕见关系更强的公平性与泛化能力。
• RiFa在‘wearing’关系上达到96.78% R@100，在‘riding’关系上达到92.75%，显示出对具有强语义非对称性的关系的出色捕捉能力。
• 模型能正确识别对称关系（如‘near’）在两个方向上的预测（如(A, near, B)和(B, near, A)），并识别出逆关系对（如(has, part of)），表明具备语义感知能力。
• 尽管Pixel2Graph本身具有对称关系的偏向，RiFa在捕捉非对称关系与逆关系方面仍表现更优。
• 即使在标注极少的情况下，模型性能依然强劲，如定性示例所示，罕见关系如‘walking on’和‘carrying’也能被正确预测。