[论文解读] Vectorization of Raster Manga by Deep Reinforcement Learning

Hao Su, Jianwei Niu+3 more|arXiv (Cornell University)|Oct 10, 2021

Video Analysis and Summarization被引用 6

一句话总结

本文提出Mang2Vec，一种基于深度强化学习的方法，通过将整个漫画建模为笔画基元序列，实现对位图漫画的向量化。通过训练智能体生成具有结构化奖励和剪枝机制的最优笔画序列，该方法在向量化质量和存储效率方面均达到最先进水平。

ABSTRACT

Manga is a popular Japanese-style comic form that consists of black-and-white lines. Compared with images of real-world scenarios, the simpler textures and fewer color gradients of mangas are the extra natures that can be vectorized. In this paper, we propose Mang2Vec, the first approach for vectorizing raster mangas using Deep Reinforcement Learning (DRL). Unlike existing learning-based works of image vectorization, we present a new view that considers an entire manga as a collection of basic primitives stroke line, and the sequence of strokes lines can be deep decomposed for further vectorization. We train a designed DRL agent to produce the most suitable sequence of lines, which is constrained to follow the visual feature of the target manga. Next, the control parameters of strokes are collected to translated to vector format. To improve our performances on visual quality and storage size, we further propose an SA reward to generate accurate stokes, and a pruning mechanism to avoid producing error and redundant strokes. Quantitative and qualitative experiments demonstrate that our Mang2Vec can produce impressive results and reaches the state-of-the-art level.

研究动机与目标

• 为解决现有基于学习的向量化方法在处理漫画独特视觉特征（如简化纹理和基于线条的渲染）方面缺乏针对性的问题。
• 克服现有图像向量化技术无法考虑漫画线条结构的顺序性和结构性的局限性。
• 通过将漫画建模为笔画基元序列，开发一种生成视觉准确且紧凑的向量输出的方法。
• 通过新颖的形状感知（SA）奖励函数和剪枝机制，提升向量化质量并减少冗余。

提出的方法

• 该方法将漫画建模为基本笔画基元的序列，将向量化视为一个序列决策问题。
• 训练一个深度强化学习智能体，以生成最能匹配输入位图漫画视觉特征的最优笔画序列。
• 智能体使用形状感知（SA）奖励函数，以鼓励生成与目标漫画视觉结构一致的笔画。
• 在推理过程中应用剪枝机制，以消除冗余或错误的笔画，从而提升输出的紧凑性和质量。
• 收集生成笔画的控制参数，并将其转换为标准向量格式（如SVG格式输出）。
• 该方法利用视觉特征约束，确保生成的笔画符合原始漫画的线条结构和拓扑特征。

实验结果

研究问题

• RQ1 深度强化学习智能体能否有效学习将位图漫画分解为最优的向量笔画序列？
• RQ2 与标准奖励函数相比，形状感知奖励函数在提升生成向量笔画的准确性和视觉保真度方面有何改进？
• RQ3 剪枝机制在不降低视觉质量的前提下，能在多大程度上减少冗余并提升存储效率？
• RQ4 与传统图像向量化方法相比，将漫画建模为笔画序列的方法在视觉质量和紧凑性方面是否表现更优？

主要发现

• Mang2Vec在位图漫画向量化方面达到最先进性能，优于现有基于学习的方法，在视觉质量方面表现更优。
• 形状感知（SA）奖励显著提升了笔画生成的准确性，使向量输出能紧密匹配原始漫画的线条结构。
• 剪枝机制有效减少了冗余笔画数量，生成了更紧凑的向量表示，且视觉质量损失极小。
• 定量实验表明，与基线方法相比，Mang2Vec生成的向量输出在存储效率和视觉保真度方面均更优。
• 定性结果表明，该方法即使在复杂线条结构中也能有效保留漫画的细节和结构一致性。