[论文解读] Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures

Wen Hua Lin, Kuan‐Ting Chen+2 more|arXiv (Cornell University)|Jan 31, 2018

Multimodal Machine Learning Applications参考文献 29被引用 5

一句话总结

本文提出Netizen-Style Commenting（NSC）框架，通过将潜在主题模型（LDA）与神经图像字幕模型结合，提升时尚照片字幕生成的多样性、生动性与文化相关性，生成更具网络社区风格的‘网民式’评论。基于新构建的大规模数据集NetiLook（30万张时尚照片，500万条评论），NSC在字幕生成的准确率与多样性方面均有显著提升，在人工评估中获得36.8%的票数排名第一，优于基线模型。

ABSTRACT

Recently, deep neural network models have achieved promising results in image captioning task. Yet, "vanilla" sentences, only describing shallow appearances (e.g., types, colors), generated by current works are not satisfied netizen style resulting in lacking engagements, contexts, and user intentions. To tackle this problem, we propose Netizen Style Commenting (NSC), to automatically generate characteristic comments to a user-contributed fashion photo. We are devoted to modulating the comments in a vivid "netizen" style which reflects the culture in a designated social community and hopes to facilitate more engagement with users. In this work, we design a novel framework that consists of three major components: (1) We construct a large-scale clothing dataset named NetiLook, which contains 300K posts (photos) with 5M comments to discover netizen-style comments. (2) We propose three unique measures to estimate the diversity of comments. (3) We bring diversity by marrying topic models with neural networks to make up the insufficiency of conventional image captioning works. Experimenting over Flickr30k and our NetiLook datasets, we demonstrate our proposed approaches benefit fashion photo commenting and improve image captioning tasks both in accuracy and diversity.

研究动机与目标

• 为解决当前图像字幕模型在时尚照片中缺乏多样性和类人互动性的问题。
• 开发一种框架，生成反映在线时尚社区中充满活力、具有社区特性的‘网民’风格评论。
• 构建一个大规模、真实世界的时尚照片与用户评论数据集，以支持文化语境细腻的图像字幕研究。
• 提出新颖的度量方法，用于量化时尚字幕任务中的评论多样性。
• 证明将主题建模与神经字幕模型结合，可同时提升生成评论的准确率与风格丰富度。

提出的方法

• 构建NetiLook，一个大规模时尚数据集，包含30万张用户上传的照片与来自在线时尚社区的500万条社区评论。
• 设计三种新颖的多样性度量指标——词汇多样性、主题多样性与语义多样性，用于定量评估评论的多样性。
• 将潜在狄利克雷分布（LDA）作为风格权重机制，引导神经字幕模型生成更具表现力、上下文丰富且具有社区特异性的评论。
• 通过注入基于主题的风格权重，对注意力机制神经图像字幕模型（如NC、Attention）进行改进，以调节输出生成。
• 联合训练主题模型与基于注意力的字幕网络，以增强视觉内容与风格表达之间的对齐。
• 应用风格权重以保持长距离依赖关系，提升生成评论的情感基调与文化相关性。

实验结果

研究问题

• RQ1 如何改进图像字幕模型，使其能够生成反映在线时尚社区中动态、富有表现力的‘网民’风格评论？
• RQ2 哪些度量方法能有效量化时尚照片评论的多样性，超越标准的BLEU与ROUGE得分？
• RQ3 潜在主题建模在多大程度上能增强神经图像字幕输出的风格丰富度与互动性？
• RQ4 结合主题建模与基于注意力的字幕模型的混合模型，是否能在准确率与多样性方面均优于标准基线模型？
• RQ5 与人工标注及基线模型输出相比，人类评估者如何评价NSC框架生成评论的真实感与质量？

主要发现

• 在用户研究中，NSC框架获得36.8%的rank-1偏好得分，显著优于NC（10.8%）与Attention（6.3%）模型。
• 在805次人工评估中，NSC在前两名中占比达76.6%，表明其生成的评论具有极强的类人质量与可接受度。
• 通过所提出的多样性度量指标显示，NSC生成的评论在词汇与主题多样性方面均优于基线模型。
• 引入基于LDA的风格权重显著提升了评论的生动性与语境相关性，尤其在捕捉社交细微差别与情感基调方面表现突出。
• 用户反馈指出，表情符号与与视觉内容的相关性是评论偏好的关键因素，而NSC有效捕捉了这两点。
• NetiLook数据集包含30万张时尚照片与500万条评论，为未来社区风格图像字幕研究提供了丰富且真实的世界基准。