[论文解读] Product Title Refinement via Multi-Modal Generative Adversarial Learning

Jianguo Zhang, Pengcheng Zou+6 more|arXiv (Cornell University)|Nov 11, 2018

Topic Modeling参考文献 19被引用 4

一句话总结

本文提出MM-GAN，一种多模态生成对抗网络，通过整合文本长标题、产品图像和属性标签，生成简洁、类人化的商品标题。通过将标题生成任务建模为强化学习任务，并利用判别器评估输出的类人程度，MM-GAN在真实电商数据集上的ROUGE指标上优于最先进基线模型，ROUGE-1达到69.53，ROUGE-2达到52.38，ROUGE-L达到65.80。

ABSTRACT

Nowadays, an increasing number of customers are in favor of using E-commerce Apps to browse and purchase products. Since merchants are usually inclined to employ redundant and over-informative product titles to attract customers' attention, it is of great importance to concisely display short product titles on limited screen of cell phones. Previous researchers mainly consider textual information of long product titles and lack of human-like view during training and evaluation procedure. In this paper, we propose a Multi-Modal Generative Adversarial Network (MM-GAN) for short product title generation, which innovatively incorporates image information, attribute tags from the product and the textual information from original long titles. MM-GAN treats short titles generation as a reinforcement learning process, where the generated titles are evaluated by the discriminator in a human-like view.

研究动机与目标

• 为解决在移动端电商展示中生成简洁、准确的短商品标题的挑战，其中长标题往往冗余或具有误导性。
• 克服仅依赖文本的模型存在的暴露偏差问题，并通过引入视觉和属性模态实现整体评估，从而弥补其局限性。
• 通过在强化学习框架中引入判别式奖励来建模类人判断，提升标题生成质量。
• 通过利用多模态上下文，使模型能够过滤掉无关或冲突的词汇（例如同时包含“wild”和“delicate”）。
• 通过在生成对抗设置中结合图像、属性标签和长标题，建立短商品标题生成的新基准。

提出的方法

• MM-GAN采用多模态编码器，通过LSTM处理长商品标题，通过全连接层处理属性标签，通过微调的VGG16提取产品图像的视觉特征。
• 生成器采用带有注意力机制的seq2seq架构，基于来自文本、图像和属性的融合多模态嵌入生成短标题。
• 判别器经过训练，能够区分人类撰写和机器生成的短标题，提供鼓励类人流畅性和准确性的奖励信号。
• 训练过程遵循强化学习范式，生成器根据判别器的反馈进行优化，从而减少最大似然估计固有的暴露偏差。
• 模型通过对抗损失和强化学习目标联合训练，判别器提供对生成序列的整体评估。
• 在商品分类任务上对VGG16进行微调，以增强视觉特征表示，实现与商品语义更好的对齐。

实验结果

研究问题

• RQ1 在仅依赖长文本标题的基础上，引入视觉和属性信息是否能进一步提升生成短商品标题的质量？
• RQ2 一种基于全序列判别式奖励机制，以类人方式评估生成结果，是否能减少暴露偏差，并提升流畅性和相关性？
• RQ3 多模态融合如何影响模型过滤长标题中存在冲突或冗余词汇的能力？
• RQ4 MM-GAN在生成简洁、信息丰富且准确的短标题方面，相较于仅使用文本或单模态基线模型，优势有多大？
• RQ5 生成对抗框架是否能有效建模电商商品标题生成所需的整体上下文理解能力？

主要发现

• MM-GAN在测试集上所有三项ROUGE指标均表现最佳——ROUGE-1达到69.53，ROUGE-2达到52.38，ROUGE-L达到65.80，优于所有基线模型。
• 图像和属性标签的引入显著提升了生成质量，表现为GAN（无模态融合）与MM-GAN之间的性能差距明显。
• MM-GAN通过利用多模态上下文，成功过滤掉无关或矛盾的词汇（例如同时包含“wild”和“delicate”），而FE-Net和Agree-MTL则保留了此类词汇。
• 案例研究显示，该模型生成的标题更具流畅性和信息量，能保留核心产品属性如“Artka”、“retro”和“shirt”，同时剔除冗余或错误的词汇。
• 判别器具备类人评估能力，使生成器能够产出更自然的标题，减少了MLE方法中常见的重复和截断问题。
• MM-GAN通过有效融合多模态输入，展现出更优的泛化能力，证明视觉和属性信号在真实电商环境中准确生成短标题过程中至关重要。