[论文解读] Semantics-Consistent Cross-domain Summarization via Optimal Transport Alignment

Jielin Qiu, Jiacheng Zhu+7 more|arXiv (Cornell University)|Oct 10, 2022

Video Analysis and Summarization被引用 4

一句话总结

该论文提出SCCS，一种语义一致的跨域摘要模型，通过最优传输对齐方法匹配视频与文本的片段级视觉和语言表征，实现多模态摘要。通过将视频和文章分解为语义片段，并利用最优传输优化跨域对齐，SCCS在三个多模态数据集上实现了最先进性能，且通过稀疏传输方案提升了可解释性。

ABSTRACT

Multimedia summarization with multimodal output (MSMO) is a recently explored application in language grounding. It plays an essential role in real-world applications, i.e., automatically generating cover images and titles for news articles or providing introductions to online videos. However, existing methods extract features from the whole video and article and use fusion methods to select the representative one, thus usually ignoring the critical structure and varying semantics. In this work, we propose a Semantics-Consistent Cross-domain Summarization (SCCS) model based on optimal transport alignment with visual and textual segmentation. In specific, our method first decomposes both video and article into segments in order to capture the structural semantics, respectively. Then SCCS follows a cross-domain alignment objective with optimal transport distance, which leverages multimodal interaction to match and select the visual and textual summary. We evaluated our method on three recent multimodal datasets and demonstrated the effectiveness of our method in producing high-quality multimodal summaries.

研究动机与目标

• 解决现有多模态摘要方法将整个视频和文章视为单一单元的局限，忽略了结构化语义。
• 保留并利用视觉和语言模态中的潜在结构化语义，以实现更准确和一致的摘要。
• 开发一种计算高效的分层框架，实现在片段级别的可解释性跨模态对齐。
• 通过基于最优传输的匹配联合优化视觉和语言摘要选择，提升多模态摘要质量。
• 通过可视化最优传输耦合矩阵，提供学习到的对齐的可解释性。

提出的方法

• 使用专用编码器将输入视频和文本文章分解为语义片段，以保留结构化语义。
• 基于最优传输（OT）应用跨域对齐目标，计算视觉和语言片段嵌入之间的Wasserstein距离。
• 利用最优传输耦合矩阵识别最语义对齐的图像-句子对，偏好稀疏且结构化的对应关系。
• 集成一个多模态对齐模块，通过最小化基于OT的跨域距离，联合优化视觉和语言摘要选择。
• 在仅提供视频输入时，采用K-means聚类和图像直方图特征实现无监督视觉摘要。
• 在单模态设置下，利用BERT进行文本嵌入，并采用基于中心点的句子选择方法进行消融实验和对比。

实验结果

研究问题

• RQ1 与整体输入方法相比，片段级跨域对齐是否能提升多模态摘要的质量和一致性？
• RQ2 基于最优传输的对齐如何增强视觉-文本摘要匹配的可解释性和结构连贯性？
• RQ3 在两种模态中保留结构化语义在多模态摘要基准上能在多大程度上提升摘要质量？
• RQ4 所提出方法在文本和视觉摘要质量方面是否均优于现有的单模态和多模态基线？
• RQ5 所学习的最优传输耦合矩阵是否能提供有意义、稀疏且可解释的视觉-文本片段对齐？

主要发现

• SCCS在CNN和Daily Mail数据集上达到最先进性能，多模态ROUGE-L得分为35.79，优于最佳基线（$\rm M^{2}$SM）4.11分。
• 在Daily Mail数据集上，该方法的余弦相似度达到73.19%，显著优于第二名方法（M$^{2}$SM）的69.22%。
• 在VMSMO数据集上，多模态方法优于单模态基线，证明了跨模态交互在摘要生成中的有效性。
• 消融实验表明，多模态学习在性能上持续优于单模态基线，当同时使用视觉和语言特征时性能最佳。
• 最优传输耦合矩阵的可视化揭示了匹配图像-文本对呈现稀疏且结构化的模式，而非匹配对则显示密集且无信息的耦合，验证了可解释性。