[论文解读] Neural Aesthetic Image Reviewer

Wenshan Wang, Su Yang+2 more|arXiv (Cornell University)|Feb 28, 2018

Visual Attention and Saliency Detection参考文献 26被引用 3

一句话总结

本文提出神经美学图像评审模型（NAIR），一种端到端的深度学习模型，通过共享美学语义层和任务特定嵌入的多任务学习框架，联合预测图像美学评分并生成自然语言解释。该模型在美学分类和评论生成任务上均优于基线模型，在新收集的AVA-Reviews数据集上展现出与人类一致的推理能力。

ABSTRACT

Recently, there is a rising interest in perceiving image aesthetics. The existing works deal with image aesthetics as a classification or regression problem. To extend the cognition from rating to reasoning, a deeper understanding of aesthetics should be based on revealing why a high- or low-aesthetic score should be assigned to an image. From such a point of view, we propose a model referred to as Neural Aesthetic Image Reviewer, which can not only give an aesthetic score for an image, but also generate a textual description explaining why the image leads to a plausible rating score. Specifically, we propose two multi-task architectures based on shared aesthetically semantic layers and task-specific embedding layers at a high level for performance improvement on different tasks. To facilitate researches on this problem, we collect the AVA-Reviews dataset, which contains 52,118 images and 312,708 comments in total. Through multi-task learning, the proposed models can rate aesthetic images as well as produce comments in an end-to-end manner. It is confirmed that the proposed models outperform the baselines according to the performance evaluation on the AVA-Reviews dataset. Moreover, we demonstrate experimentally that our model can generate textual reviews related to aesthetics, which are consistent with human perception.

研究动机与目标

• 探究人工智能系统是否能够感知图像美学并生成类似人类推理的自然语言解释。
• 通过引入可解释的文本反馈，扩展传统的图像美学分类方法。
• 开发一种统一的深度学习框架，以端到端方式同时完成美学预测和描述性评论生成。
• 通过收集并发布包含52,118张图像和312,708条用户生成评论的AVA-Reviews数据集，推动可解释图像美学研究。

提出的方法

• 提出一种多任务神经架构，结合CNN进行视觉特征提取和RNN进行文本生成，通过共享高层美学语义层以提升两项任务的性能。
• 提出两种新型架构——Model-I和Model-II，包含共享美学语义层和任务特定嵌入层，以增强分类和生成任务的特征表示。
• 采用CNN-RNN框架，将图像的视觉特征编码后，通过基于RNN的语言生成器解码为自然语言评论。
• 利用多任务学习联合优化图像美学分类和自然语言评论生成，提升泛化能力和性能。
• 使用从Dpchallenge收集的AVA-Reviews数据集，包含52,118张图像和312,708条用户评论，将美学评分与描述性见解关联。
• 采用交叉熵损失进行分类，语言建模损失进行评论生成，通过高层特征共享表示以促进语义对齐。

实验结果

研究问题

• RQ1 深度学习模型能否联合预测图像美学评分并生成与人类美学感知一致的自然语言解释？
• RQ2 引入共享高层语义层在美学分类和描述性评论生成任务中如何提升性能？
• RQ3 该模型在多大程度上能生成反映特定美学原则（如构图、清晰度、光线）的评论？
• RQ4 结合共享与任务特定组件的多任务学习是否优于单任务或朴素多任务基线？
• RQ5 该模型能否生成在语义上与真实世界图像美学评估中真实用户评论一致的解释？

主要发现

• 所提出的Model-I在AVA-Reviews数据集上，图像美学预测平均提升4.0%，视觉到语言生成任务提升2.0%，优于基线模型。
• Model-II进一步整合了任务特定嵌入，表现优于Model-I，表明结合任务共享与任务特定信息可显著提升两项任务的性能。
• 模型生成的评论在语义上与人类直觉一致，例如能识别低美学评分图像中的问题，如“太模糊”、“干扰性背景”或“过小”。
• 对于高美学评分图像，模型能生成合理的解释，如“羽毛细节极佳”或“非常棒的人像”，与真实评论高度一致。
• 多任务基线性能劣于所提模型，表明仅共享CNN权重而无结构化架构设计反而会损害性能。
• 定性结果表明，模型能生成多样、上下文相关且感知上合理的美学评论，证实其具备超越简单分类的美学推理能力。