[论文解读] Multimodal Joint Attribute Prediction and Value Extraction for E-commerce Product

Tiangang Zhu, Yue Wang+4 more|arXiv (Cornell University)|Sep 15, 2020

Sentiment Analysis and Opinion Mining参考文献 12被引用 14

一句话总结

本文提出 M-JAVE，一种多模态模型，通过文本和图像联合预测产品属性并提取其值，利用跨模态注意力机制选择性地整合视觉线索。该方法通过建模属性-值依赖关系并使用视觉门控机制有针对性地利用图像特征，显著提升性能，在一个包含 87,194 个实例的新数据集上达到当前最优结果。

ABSTRACT

Product attribute values are essential in many e-commerce scenarios, such as customer service robots, product recommendations, and product retrieval. While in the real world, the attribute values of a product are usually incomplete and vary over time, which greatly hinders the practical applications. In this paper, we propose a multimodal method to jointly predict product attributes and extract values from textual product descriptions with the help of the product images. We argue that product attributes and values are highly correlated, e.g., it will be easier to extract the values on condition that the product attributes are given. Thus, we jointly model the attribute prediction and value extraction tasks from multiple aspects towards the interactions between attributes and values. Moreover, product images have distinct effects on our tasks for different product attributes and values. Thus, we selectively draw useful visual information from product images to enhance our model. We annotate a multimodal product attribute value dataset that contains 87,194 instances, and the experimental results on this dataset demonstrate that explicitly modeling the relationship between attributes and values facilitates our method to establish the correspondence between them, and selectively utilizing visual product information is necessary for the task. Our code and dataset will be released to the public.

研究动机与目标

• 解决电商业务中产品属性值不完整且动态变化的挑战。
• 通过建模属性与值之间的相互依赖关系，提升属性预测与值提取的性能。
• 通过选择性整合产品图像中的视觉信息，进一步提升模型性能。
• 构建大规模多模态数据集，用于属性-值对的补全任务。

提出的方法

• 通过多任务学习，联合建模属性预测（多标签序列分类）与值提取（序列标注）。
• 采用全局门控跨模态注意力模块，通过视觉语义增强文本表征。
• 采用区域门控跨模态注意力模块，选择性地提取用于值提取的视觉特征。
• 应用 Kullback-Leibler 散度损失，惩罚预测的属性与值分布之间的一致性差异。
• 采用 BERT 进行文本编码，ResNet 进行图像编码作为主干编码器。
• 引入视觉门控机制（全局与区域门控），动态控制图像特征对文本表征的影响。

实验结果

研究问题

• RQ1 与独立方法相比，联合建模属性预测与值提取在性能上有哪些提升？
• RQ2 选择性地整合视觉信息对属性与值预测准确率有何影响？
• RQ3 属性-值依赖关系如何促进属性与其值之间更好的对应学习？
• RQ4 在低资源设置下，视觉信息在多大程度上增强模型的鲁棒性？
• RQ5 视觉门控在识别特定属性-值对相关图像区域方面有多高效？

主要发现

• 在使用视觉信息的情况下，M-JAVE 模型将属性预测中 PI 与 QA 领域之间的 F1 分数差距从 14.58% 降低至 12.98%，值提取任务中的差距从 14.31% 降低至 11.00%。
• 在完整数据集上，M-JAVE 在属性预测上达到 90.69% 的 F1 分数，在值提取上达到 87.17%，优于基线模型 JAVE。
• 仅使用 20% 的训练数据时，M-JAVE 在属性预测上仍保持 78.70% 的 F1 分数，在值提取上达到 74.63%，展现出强大的低资源鲁棒性。
• 可视化结果表明，全局视觉门控与文本-图像相关性对齐，区域门控则聚焦于语义相关的图像区域。
• KL 散度正则化有效减少了属性与值预测分布之间的一致性差异，提升了预测对齐效果。
• 所提出的 87,194 个实例的数据集为多模态属性-值对补全任务提供了基准评测支持。