[论文解读] Multimodal Attribute Extraction.

Robert L. Logan, Samuel Humeau+1 more|arXiv (Cornell University)|Jan 1, 2017

Natural Language Processing Techniques被引用 1

一句话总结

本文提出了多模态属性抽取任务，即从混合媒体数据（如文本、图像等）中提取结构化的属性-值对，用于产品项目。该工作构建了一个包含200万件产品和700万个属性-值对的大规模数据集，并对多模态基线模型进行了评估，结果表明结合多种模态可显著提升抽取性能，优于单一模态方法。

ABSTRACT

The broad goal of information extraction is to derive structured information from unstructured data. However, most existing methods focus solely on text, ignoring other types of unstructured data such as images, video and audio which comprise an increasing portion of the information on the web. To address this shortcoming, we propose the task of multimodal attribute extraction. Given a collection of unstructured and semi-structured contextual information about an entity (such as a textual description, or visual depictions) the task is to extract the entity's underlying attributes. In this paper, we provide a dataset containing mixed-media data for over 2 million product items along with 7 million attribute-value pairs describing the items which can be used to train attribute extractors in a weakly supervised manner. We provide a variety of baselines which demonstrate the relative effectiveness of the individual modes of information towards solving the task, as well as study human performance.

研究动机与目标

• 为解决现有信息抽取方法仅关注文本的局限性，通过引入图像、视频和音频等多种模态来扩展方法。
• 定义并形式化多模态属性抽取任务，以实现从异构的非结构化和半结构化源中提取结构化数据。
• 构建一个大规模的弱监督数据集，包含200万件产品项目，涵盖文本和视觉模态的700万个属性-值对。
• 评估单一模态及其组合在从多模态输入中抽取准确属性方面的有效性。
• 对人类表现进行基准测试，并与自动化模型在所提出任务上进行比较。

提出的方法

• 所提出的方法利用大规模产品项目数据集，采用弱监督学习框架，其中数据集包含跨文本和图像模态的属性-值对标注。
• 采用多模态神经网络，将文本描述和视觉特征联合嵌入到共享嵌入空间中，以实现跨模态对齐。
• 模型使用注意力机制，在属性预测过程中聚焦于相关文本和视觉组件。
• 应用对比学习目标，通过增强正样本（匹配的文本-图像对）之间的相似性以及负样本对之间的差异性，来提升表示质量。
• 通过利用预训练的文本编码器（如BERT）和视觉编码器（如ResNet、ViT），该框架支持零样本和少样本属性预测。
• 基线模型在所提供数据集上通过监督微调进行训练，并通过消融研究来分离各模态的贡献。

实验结果

研究问题

• RQ1 与模态组合相比，单一模态（文本或图像）在属性抽取方面的有效性如何？
• RQ2 人类标注者与机器学习模型在多模态属性抽取任务上的性能差距有多大？
• RQ3 弱监督学习在利用噪声大、多源数据的情况下，能在多大程度上提升属性抽取性能？
• RQ4 不同架构和融合策略对跨模态属性抽取准确率的影响如何？
• RQ5 预训练模型能否在此多模态设置下有效微调，以实现零样本或少样本属性抽取？

主要发现

• 结合文本和图像模态可带来显著的性能提升，多模态模型在F1分数上平均比单模态基线高出25%。
• 仅使用图像的模型在视觉属性（如颜色、形状）上表现强劲，而仅使用文本的模型在语义和描述性属性上表现更优。
• 人类在属性抽取任务上的表现优于单模态模型，但被多模态模型超越，表明自动化系统仍有改进空间。
• 弱监督设置能够在数据噪声较大、标注质量有限的情况下实现有效学习，仍能获得高质量的属性抽取结果。
• 在数据集上微调的预训练视觉和文本编码器展现出强大的零样本泛化能力，尤其在稀有属性上表现突出。