[论文解读] RoboCoDraw: Robotic Avatar Drawing with GAN-based Style Transfer and Time-efficient Path Optimization

Tianying Wang, Wei Qi Toh+5 more|arXiv (Cornell University)|Dec 11, 2019

Advanced Vision and Imaging参考文献 22被引用 5

一句话总结

RoboCoDraw 是一个实时机器人绘画系统，通过基于 GAN 的风格迁移方法（AvatarGAN）将真实人脸转换为个性化卡通形象，并利用带有 2-opt 和 Lin-Kernighan 局部搜索启发式算法的随机键遗传算法（RKGA）优化机器人绘画路径。与基线贪心路径规划相比，该系统将绘画时间平均减少了 17.34%，实现了高效、交互式且富有趣味性的机器人艺术创作，同时保持了高相似度与美学质量。

ABSTRACT

Robotic drawing has become increasingly popular as an entertainment and interactive tool. In this paper we present RoboCoDraw, a real-time collaborative robot-based drawing system that draws stylized human face sketches interactively in front of human users, by using the Generative Adversarial Network (GAN)-based style transfer and a Random-Key Genetic Algorithm (RKGA)-based path optimization. The proposed RoboCoDraw system takes a real human face image as input, converts it to a stylized avatar, then draws it with a robotic arm. A core component in this system is the Avatar-GAN proposed by us, which generates a cartoon avatar face image from a real human face. AvatarGAN is trained with unpaired face and avatar images only and can generate avatar images of much better likeness with human face images in comparison with the vanilla CycleGAN. After the avatar image is generated, it is fed to a line extraction algorithm and converted to sketches. An RKGA-based path optimization algorithm is applied to find a time-efficient robotic drawing path to be executed by the robotic arm. We demonstrate the capability of RoboCoDraw on various face images using a lightweight, safe collaborative robot UR5.

研究动机与目标

• 开发一个实时、交互式的机器人绘画系统，将真实人脸转化为风格化的卡通形象以用于娱乐。
• 在生成的卡通形象中保留面部特征（例如脸型、眼睛形状、发型），以确保与输入人脸的高度相似性。
• 优化机器人绘画路径以提升时间效率，最小化实际绘画时间，同时保持草图质量。
• 在训练过程中无需手动标注或面部关键点标记。
• 将轻量级协作机器人（UR5）与定制的画笔支架集成，实现在不平整表面的稳定、压力一致的绘画。

提出的方法

• 提出 AvatarGAN，一种基于双流 CycleGAN 的变体，利用未配对的真实人脸与卡通形象图像进行训练，实现无需配对数据即可生成高相似度的卡通形象。
• 应用线条提取算法，将生成的卡通形象转换为适合机器人绘画的草图表示。
• 采用带有两级局部优化启发式算法（2-opt 和 Lin-Kernighan）的随机键遗传算法（RKGA），以优化绘画路径点的顺序。
• 使用均匀交叉策略，其中 0.7 的概率选择来自第一个父代的基因，0.5 的概率在交叉前反转父代路径。
• 通过以 0.05 的概率打乱键的十进制部分，并以 0.05 的概率翻转整数部分来实现变异。
• 将系统与 UR5 机器人臂及弹簧加载画笔支架集成，以在不平整白板表面保持一致的压力。

实验结果

研究问题

• RQ1 基于 GAN 的风格迁移方法是否能在无配对训练数据的情况下，生成与真实人脸高度相似的卡通形象？
• RQ2 与基线方法相比，所提出的基于 RKGA 的路径优化在减少机器人绘画时间方面效果如何？
• RQ3 该系统是否能够在面向公众的应用场景中，利用协作机器人实现实时、交互式的个性化形象绘画？
• RQ4 AvatarGAN 与路径优化的集成在多大程度上提升了机器人绘画的整体用户体验？
• RQ5 在不同复杂度下（如单次绘画任务中包含多个形象），系统表现如何？

主要发现

• AvatarGAN 在保留面部特征方面优于原始 CycleGAN 和 CariGANs，生成的卡通形象与输入人脸具有显著更高的相似度。
• 结合 2-opt 和 Lin-Kernighan 启发式算法的 RKGA 在路径适应度上相比贪心基线平均提升了 17.34%，显著减少了绘画时间。
• 系统完成 20 次集成实验，平均绘画时间为 43.2 秒，总预处理时间为 9.9 秒，实现了实时交互。
• 路径优化方法在五组复杂卡通形象组合中表现出一致性能，每组平均需绘制 74 条线条。
• 弹簧加载画笔支架有效补偿了 z 轴误差，确保在不平整表面上压力一致，提升了线条质量的稳定性。
• 系统成功从卡通形象草图生成了具有视觉吸引力的线稿风格绘画，相比像素着色复制方法显著提升了视觉美感。