[论文解读] Semantic Compositional Networks for Visual Captioning

Zhe Gan, Chuang Gan+6 more|arXiv (Cornell University)|Nov 23, 2016

Multimodal Machine Learning Applications参考文献 55被引用 18

一句话总结

本文提出语义组合网络（SCN）用于视觉字幕生成，将LSTM权重矩阵扩展为与标签相关的集成结构，并通过图像特定的标签概率动态加权。该方法显著优于先前的最先进模型，在COCO数据集上达到33.1的BLEU-4得分，通过视觉概念的组合融合实现了灵活且语义基础明确的字幕生成。

ABSTRACT

A Semantic Compositional Network (SCN) is developed for image captioning, in which semantic concepts (i.e., tags) are detected from the image, and the probability of each tag is used to compose the parameters in a long short-term memory (LSTM) network. The SCN extends each weight matrix of the LSTM to an ensemble of tag-dependent weight matrices. The degree to which each member of the ensemble is used to generate an image caption is tied to the image-dependent probability of the corresponding tag. In addition to captioning images, we also extend the SCN to generate captions for video clips. We qualitatively analyze semantic composition in SCNs, and quantitatively evaluate the algorithm on three benchmark datasets: COCO, Flickr30k, and Youtube2Text. Experimental results show that the proposed method significantly outperforms prior state-of-the-art approaches, across multiple evaluation metrics.

研究动机与目标

• 通过将高层语义概念（标签）有效整合到字幕生成过程中，提升视觉字幕生成性能。
• 解决先前方法仅将标签用于初始化或注意力机制的局限性，将标签直接集成到LSTM权重矩阵中。
• 构建一个自然延伸至视频字幕生成的统一框架。
• 通过语义概念的操控实现平滑且可解释的字幕自适应。
• 证明基于标签的组合方法相较于传统LSTM模型能生成更准确、更具上下文一致性的字幕。

提出的方法

• SCN将每个传统的LSTM权重矩阵替换为通过三重矩阵积构成的三阶张量，其中一维对应检测到的语义标签。
• 每个与标签相关的权重矩阵根据图像预测的该标签概率进行缩放，从而实现LSTM行为的动态组合。
• 模型采用因子分解张量分解方法，在保持表达能力的同时减少参数量。
• 将CNN提取的视觉特征向量与标签概率融合，以引导LSTM解码器生成连贯且上下文准确的字幕。
• 该框架支持端到端训练，并可通过使用视频级视觉特征和时间建模扩展至视频字幕生成。
• 通过修改标签可进行定性分析，展示受控且语义上合理的字幕变化。

实验结果

研究问题

• RQ1 能否将显式的语义概念（标签）整合到LSTM权重矩阵中以提升视觉字幕生成性能？
• RQ2 基于标签概率的动态、加权组合LSTM参数对字幕质量与连贯性有何影响？
• RQ3 所提方法能否在图像到视频字幕生成之间实现泛化，并保持一致的性能提升？
• RQ4 通过操控单个语义概念，字幕生成在多大程度上可被控制与解释？
• RQ5 SCN模型是否能生成比先前最先进方法更准确、更全面的字幕？

主要发现

• SCN在COCO测试集上达到33.1的BLEU-4得分，较先前最先进方法提升1.5分。
• 在Flickr30k数据集上，SCN在BLEU-4、ROUGE和CIDEr等多个指标上均优于先前方法。
• 与LSTM-R和LSTM-RT2相比，该模型生成的字幕更准确、更详细，尤其在捕捉图像中的显著元素（如颜色和物体属性）方面表现更优。
• 定性分析表明，修改标签可导致语义连贯且上下文恰当的字幕变化，例如将'grass'替换为'bed'后生成'a dog laying on top of a bed'。
• 通过组合标签（如'oceam'和'bus'）可生成合理的新场景描述（如'a bus driving in the ocean'），展示出组合推理能力。
• 在保留标签但移除视觉特征输入时，模型生成错误字幕，证实视觉上下文对准确生成的必要性。