[论文解读] OmniArt: Multi-task Deep Learning for Artistic Data Analysis

Gjorgji Strezoski, Marcel Worring|arXiv (Cornell University)|Aug 2, 2017

Aesthetic Perception and Analysis参考文献 34被引用 51

一句话总结

OmniArt 引入一个具有共享表示的多任务深度学习框架，用于分析艺术数据，在 Rijksmuseum’14 和新的 OmniArt 数据集上实现最先进的结果，并且训练更快。

ABSTRACT

Vast amounts of artistic data is scattered on-line from both museums and art applications. Collecting, processing and studying it with respect to all accompanying attributes is an expensive process. With a motivation to speed up and improve the quality of categorical analysis in the artistic domain, in this paper we propose an efficient and accurate method for multi-task learning with a shared representation applied in the artistic domain. We continue to show how different multi-task configurations of our method behave on artistic data and outperform handcrafted feature approaches as well as convolutional neural networks. In addition to the method and analysis, we propose a challenge like nature to the new aggregated data set with almost half a million samples and structured meta-data to encourage further research and societal engagement.

研究动机与目标

• 开发一种高效的端到端多任务学习方法，具有艺术数据的共享表示。
• 创建一个以博物馆为中心的大规模数据集（OmniArt），并包含丰富的元数据，以基准化多任务艺术分析。
• 在 Rijksmuseum Challenge 2014 和 OmniArt Challenge 上展示最先进的性能。
• 展示共享表示如何利用艺术属性之间的语义纠缠来提高准确性和效率。

提出的方法

• 使用深度卷积神经网络基础模型（经研究发现 ResNet-50 最优）作为特征提取器。
• 添加一个共享表示层，该层输入到面向具体任务的预测块。
• 将任务损失聚合为综合损失 L_t = sum_i w_i s_i L_i，并使用任务特定的比例因子来平衡损失。
• 对于不同任务采用不同的损失函数（艺人归属的多类别使用分类交叉熵；时期的回归采用平均绝对误差；材料和类型的多标签使用二元交叉熵）。
• 端到端训练，使梯度通过共享表示传播，从而实现跨任务学习并可能引发任务之间的语义纠缠。
• 分阶段评估以选择基础模型，然后优化多任务配置，重点关注训练效率。

实验结果

研究问题

• RQ1 在相关艺术属性之间学习共享表示，是否能比单任务模型提高预测性能？
• RQ2 哪种深度特征提取器能为艺术数据提供最佳的基础表示？
• RQ3 在共享多任务模型中，异构任务类型（分类、回归、多标签）的损失应如何平衡？
• RQ4 用于多任务艺术分析的最优共享表示特征（大小、深度）是什么？
• RQ5 共享表示是否能够揭示并量化艺术属性之间的语义连接？

主要发现

• 在所测试的架构中，ResNet-50 提供了最佳的基础特征。
• 多任务的 OmniArt 模型在 Rijks’14 任务和报告设置中的 OmniArt 任务上，均超越了单任务深度网络和手工特征表现。
• 构建了一个包含 432,217 张照片复制品及丰富元数据的大规模 OmniArt 数据集，以促进进一步研究。
• 共享表示方法通过实现跨多个任务的一次性学习来减少训练时间，同时维持或提升预测性能。
• 通过共享层的任务交互在任务语义相关时可以提高准确性，证明多任务方法的合理性。