[论文解读] Synthetically Trained Icon Proposals for Parsing and Summarizing Infographics

Spandan Madan, Zoya Bylinskii+7 more|arXiv (Cornell University)|Jul 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 20被引用 13

一句话总结

本文提出一种通过合成数据训练的物体提议网络，用于生成信息图的图标提议，以实现信息图的解析与摘要。通过利用合成数据训练卷积神经网络，该方法在图标分类任务上取得了27.2%的top-1精度和18.0%的平均精度（mAP），显著优于随机、非透明及空白背景基线模型，且接近人类水平表现。

ABSTRACT

Widely used in news, business, and educational media, infographics are handcrafted to effectively communicate messages about complex and often abstract topics including `ways to conserve the environment' and `understanding the financial crisis'. Composed of stylistically and semantically diverse visual and textual elements, infographics pose new challenges for computer vision. While automatic text extraction works well on infographics, computer vision approaches trained on natural images fail to identify the stand-alone visual elements in infographics, or `icons'. To bridge this representation gap, we propose a synthetic data generation strategy: we augment background patches in infographics from our Visually29K dataset with Internet-scraped icons which we use as training data for an icon proposal mechanism. On a test set of 1K annotated infographics, icons are located with 38% precision and 34% recall (the best model trained with natural images achieves 14% precision and 7% recall). Combining our icon proposals with icon classification and text extraction, we present a multi-modal summarization application. Our application takes an infographic as input and automatically produces text tags and visual hashtags that are textually and visually representative of the infographic's topics respectively.

研究动机与目标

• 为解决复杂信息图解析中关键视觉图标识别与定位的挑战。
• 减少对昂贵真实世界标注数据的依赖，以训练图标提议模型。
• 提升在视觉杂乱的信息图布局中图标检测的准确率与鲁棒性。
• 探索合成数据在训练深度学习模型以实现视觉版面理解方面的有效性。

提出的方法

• 使用具有布局、色彩和图标位置可控变化的合成信息图来训练卷积神经网络。
• 通过在空白或结构化背景上随机放置图标，生成多样化的训练样本，背景透明度各异。
• 使用区域提议网络（RPN）预测合成图像中候选图标位置和边界框。
• 在真实世界信息图数据上微调模型，以适应真实视觉分布。
• 使用标准指标（图标分类的top-1精度和平均精度mAP）评估模型性能。
• 与基线模型进行对比，包括随机位置采样、非透明图标和空白背景设置。

实验结果

研究问题

• RQ1 合成数据能否有效训练模型，在无真实标注数据的情况下生成准确的信息图图标提议？
• RQ2 在图标检测任务中，合成训练与真实数据基线相比，在top-1精度和mAP指标上的表现如何？
• RQ3 背景复杂度和图标透明度对提议质量有何影响？
• RQ4 合成训练在多大程度上能缩小模型性能与人类水平表现之间的差距？

主要发现

• 通过合成数据训练的模型在图标分类任务上取得了27.2%的top-1精度和18.0%的mAP，显著优于所有基线模型。
• 随机位置基线仅达到16.7%的top-1精度和14.2%的mAP，证明了结构化提议生成的价值。
• 非透明背景和空白背景基线的top-1精度分别为15.9%和16.2%，证实仅背景设计本身无法提升性能。
• 人类上限达到55.4%的top-1精度和57.2%的mAP，表明未来仍有巨大提升空间。
• 所提方法优于所有消融实验基线，验证了合成数据在图标提议任务训练中的有效性。
• 模型在合成数据上的表现能合理泛化到真实信息图，表明具备较强的可迁移性。