[论文解读] Texture Generation with Neural Cellular Automata

Alexander Mordvintsev, Eyvind Niklasson+1 more|arXiv (Cornell University)|May 15, 2021

Cellular Automata and Applications参考文献 27被引用 6

一句话总结

本文提出了一种基于神经元细胞自动机（NCA）的新型纹理生成方法，通过单张模板图像学习局部、可微分的更新规则。通过时间反向传播训练NCA，模型实现了快速、高保真度的纹理合成，且具备对损伤的内在鲁棒性以及对新网格拓扑的适应性，展示了纹理形成的可学习分布式算法。

ABSTRACT

Neural Cellular Automata (NCA) have shown a remarkable ability to learn the required rules to "grow" images, classify morphologies, segment images, as well as to do general computation such as path-finding. We believe the inductive prior they introduce lends itself to the generation of textures. Textures in the natural world are often generated by variants of locally interacting reaction-diffusion systems. Human-made textures are likewise often generated in a local manner (textile weaving, for instance) or using rules with local dependencies (regular grids or geometric patterns). We demonstrate learning a texture generator from a single template image, with the generation method being embarrassingly parallel, exhibiting quick convergence and high fidelity of output, and requiring only some minimal assumptions around the underlying state manifold. Furthermore, we investigate properties of the learned models that are both useful and interesting, such as non-stationary dynamics and an inherent robustness to damage. Finally, we make qualitative claims that the behaviour exhibited by the NCA model is a learned, distributed, local algorithm to generate a texture, setting our method apart from existing work on texture generation. We discuss the advantages of such a paradigm.

研究动机与目标

• 开发一种从单张示例图像学习的纹理生成方法，采用生物上合理的、局部相互作用的系统。
• 探究神经元细胞自动机是否能够学习一种用于纹理合成的分布式、算法化过程，以模拟自然图案形成。
• 探索训练后的NCA模型在结构变化（如网格拓扑变化或细胞损伤）下的鲁棒性与适应性。
• 证明基于NCA的纹理生成方法在对底层状态流形假设极少的情况下，仍能实现高保真度与快速收敛。
• 展示所学习的NCA规则可泛化至不同计算实现方式，如方形与六边形网格。

提出的方法

• 该方法使用由同质细胞组成的二维网格，每个细胞基于局部邻域状态应用共享的可微分更新规则。
• 通过使用可微分损失函数最小化生成纹理与目标纹理分布之间的差异，利用时间反向传播学习更新规则。
• 使用固定的3x3卷积核（Sobel与9点拉普拉斯算子）计算局部空间导数（梯度与拉普拉斯），为每个细胞形成感知向量。
• 系统在离散时间步上异步演化，状态向量通过将学习到的函数应用于感知向量进行更新。
• 模型在单张输入纹理图像上进行训练，目标是快速高效地生成相似纹理。
• 训练后可进行适应性调整，例如改变网格拓扑（如从方形变为六边形）或旋转局部梯度向量，以将纹理投影到向量场中，而无需重新训练。

实验结果

研究问题

• RQ1 神经元细胞自动机能否从单张示例图像学习一种局部、可微分的规则，以生成高保真度纹理？
• RQ2 所学习的NCA规则是否表现出一种分布式、算法化的纹理形成过程，而非单纯的像素重建？
• RQ3 NCA模型对结构扰动（如细胞删除或网格拓扑变化）的鲁棒性如何？
• RQ4 训练后的NCA能否在不重新训练的情况下泛化至新计算环境，如非方形网格或旋转的梯度场？
• RQ5 所学习的NCA模型在动态演化中，其近似程度在多大程度上接近基于PDE的反应-扩散系统？

主要发现

• NCA模型能够从单张模板图像实现快速收敛与高保真度纹理合成，且生成过程具有明显的并行性与高效性。
• 模型对损伤具有内在鲁棒性，例如单个细胞或细胞组的删除，图案能以一致方式实现自愈。
• 所学习的NCA规则可泛化至不同网格拓扑——例如，使用适当的卷积核，同一规则可成功在方形与六边形网格上生成纹理。
• 通过在应用前旋转局部梯度向量，NCA可在不重新训练的情况下将纹理投影到任意向量场，展现出强大的归纳偏置与泛化能力。
• 模型学习到一种分布式、局部的纹理形成算法，表现为非平稳动力学与涌现的图案一致性，与标准GAN或基于优化的方法形成鲜明对比。
• 训练过程有效识别出在离散时间与空间下的一类反应-扩散系统中的PDE类规则，表明NCA可作为自然图案形成过程的可微分近似。