[论文解读] Neurally-Guided Procedural Models: Amortized Inference for Procedural Graphics Programs using Neural Networks

Daniel Ritchie, Anna Thomas+2 more|arXiv (Cornell University)|Mar 19, 2016

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 25

一句话总结

本文提出了一种神经引导的程序化模型，利用神经网络在基于图像的约束下学习高效、可 amortized 的程序化图形程序推理。通过在 SMC 生成的示例上进行训练，该模型可实时引导随机选择，使结果质量达到与无引导模型相当，但速度提升高达 10 倍，且粒子数量显著减少。

ABSTRACT

Probabilistic inference algorithms such as Sequential Monte Carlo (SMC) provide powerful tools for constraining procedural models in computer graphics, but they require many samples to produce desirable results. In this paper, we show how to create procedural models which learn how to satisfy constraints. We augment procedural models with neural networks which control how the model makes random choices based on the output it has generated thus far. We call such models neurally-guided procedural models. As a pre-computation, we train these models to maximize the likelihood of example outputs generated via SMC. They are then used as efficient SMC importance samplers, generating high-quality results with very few samples. We evaluate our method on L-system-like models with image-based constraints. Given a desired quality threshold, neurally-guided models can generate satisfactory results up to 10x faster than unguided models.

研究动机与目标

• 为解决程序化图形中概率推理的高计算成本问题，学习高效的采样策略。
• 实现在复杂约束（如形状匹配或风格化设计）下的交互式、高质量程序化内容生成。
• 通过训练神经网络，基于部分输出来引导程序化模型，实现推理的 amortized 化。
• 通过在生成过程中直接学习约束诱导的依赖关系，减少对昂贵采样的依赖。

提出的方法

• 在程序化模型中引入神经网络，使其基于当前状态和部分输出来条件化随机选择。
• 使用大规模 SMC 生成的示例输出，通过最大似然法训练神经引导网络。
• 采用混合密度网络来建模连续选择中的多模态不确定性，尤其在复杂交点处表现更优。
• 设计一种轻量级、前馈式的神经网络架构，处理当前位置和朝向，以预测下一步的参数。
• 利用程序化模型的累积特性，即在生成过程中保持当前位置，从而实现有效的上下文感知引导。
• 将训练好的模型用作高效的 SMC 重要性采样器，大幅减少所需粒子数和计算时间。

实验结果

研究问题

• RQ1 是否可以利用神经网络在基于图像的约束下，学习程序化图形模型的高效、可 amortized 推理？
• RQ2 神经引导网络在无需显式梯度计算的情况下，能否良好近似程序化模型的后验分布？
• RQ3 哪些架构选择（如混合密度网络）能提升在复杂、多模态约束空间中的性能？
• RQ4 在该 amortized 框架中，需要多少训练样本才能实现稳定且高质量的推理？
• RQ5 该方法能否显著减少达到目标质量阈值所需的 SMC 粒子数量？

主要发现

• 神经引导模型在使用高达 10 倍少的粒子和高达 10 倍少的计算时间下，达到与无引导模型相同的质量阈值。
• 混合密度网络在处理复杂形状交点（如字母 't'）时表现更优，因其能有效建模多模态不确定性。
• 性能在约 1,000 个训练样本后趋于平稳，表明由于每个样本的高维随机选择，有效数据规模较大。
• 在 2,000 个 SMC 生成的示例（每个示例 600 个粒子）上进行训练耗时约 10 小时，而模型训练本身在两小时内完成。
• 对于类似电路的设计约束，引导模型生成结果耗时约 3.5 秒，而参考 SMC 样本则需约 70 秒。
• 该方法可泛化至形状匹配之外的其他似然函数，例如偏好密集、边缘丰富的图案，如电路板结构。