[论文解读] Neural Smoke Stylization with Color Transfer
该论文通过引入一种新颖的两阶段方法，将基于传输的神经风格迁移扩展至2D和3D烟雾模拟，首先迁移结构化流特征，然后利用可微分颜色渲染器优化颜色。该方法实现了使用示例颜色图像进行一致且时间连贯的烟雾模拟颜色风格化，取得了高质量、艺术家可控的结果，具备空间与时间的一致性。
Artistically controlling fluid simulations requires a large amount of manual work by an artist. The recently presented transportbased neural style transfer approach simplifies workflows as it transfers the style of arbitrary input images onto 3D smoke simulations. However, the method only modifies the shape of the fluid but omits color information. In this work, we therefore extend the previous approach to obtain a complete pipeline for transferring shape and color information onto 2D and 3D smoke simulations with neural networks. Our results demonstrate that our method successfully transfers colored style features consistently in space and time to smoke data for different input textures.
研究动机与目标
- 为解决现有基于传输的神经风格迁移在流体模拟中缺乏颜色控制的问题。
- 使艺术家能够使用示例图像控制烟雾模拟的形状与颜色外观。
- 开发一种两阶段流程，将结构风格化与颜色优化解耦，以提升控制力与一致性。
- 通过使用可微分颜色渲染器，确保在帧之间实现空间与时间上的一致性颜色迁移。
提出的方法
- 该方法采用两阶段流程：首先应用基于传输的神经风格迁移（TNST），将风格图像中的结构特征迁移至烟雾密度上。
- 在第二阶段，对风格化后的密度图使用标准神经风格迁移（NST）进行颜色风格优化，不使用内容损失，并采用改进的初始化方式以防止颜色褪色。
- 通过从风格化密度中提取的引导掩码，对优化区域进行约束，仅在存在烟雾的区域进行优化，方法为与特征表示进行逐元素相乘。
- 使用轻量级、可微分的颜色渲染器，沿射线计算RGB发射值，将密度作为发射因子，并结合透射率以实现逼真的光照效果。
- 优化过程中使用VGG-19网络中'relu2_1'与'relu3_1'层的特征，以控制特征复杂度与尺度，同时通过特征图的复制填充（tiling）生成更小尺度的结构。
- 整个流程端到端可微分，支持通过Adam优化器在300次迭代内进行反向传播优化。
实验结果
研究问题
- RQ1在保留现有基于流场的方法所实现的结构风格化的同时，能否有效将颜色信息迁移至2D和3D烟雾模拟中？
- RQ2在流体模拟中，如何实现帧间颜色风格化的时序一致性？
- RQ3在不使用内容损失的情况下，何种初始化策略可确保高质量的颜色结果且避免颜色褪色？
- RQ4如何将优化过程限制在仅具有烟雾密度的区域，以避免伪影？
- RQ5轻量级可微分渲染器是否能在不带来过高计算开销的前提下，支持高保真度的颜色风格化？
主要发现
- 该方法成功地将输入风格图像中的形状与颜色特征迁移至2D和3D烟雾模拟中，实现了空间与时间上的一致性。
- 在颜色优化阶段使用白噪声进行初始化，可有效防止颜色褪色，并相比仅使用风格化密度初始化，产生更优的视觉效果。
- 引导掩码能有效限制颜色优化仅作用于烟雾区域，减少伪影，最终应用掩码可去除残留的边界溢出。
- 3D结果表明，结合可微分渲染器的多视角优化，可实现一致的3D颜色风格化，其质量与2D结果相当。
- 该方法使艺术家仅通过一张示例图像即可控制烟雾的结构与颜色，显著提升了流体模拟的艺术表现力。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。