[论文解读] Synthesizing Dynamic Textures and Sounds by Spatial-Temporal Generative ConvNet.

Jianwen Xie, Song‐Chun Zhu+1 more|arXiv (Cornell University)|Jun 3, 2016

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 4

一句话总结

本文提出了一种时空生成卷积神经网络，通过多层时空滤波器捕捉视频和音频中随机重复的特性，以建模动态纹理和声音。该模型成功生成了逼真的动态纹理和自然/人造声音，展示了其在视觉与听觉领域中的有效性。

ABSTRACT

Dynamic textures are spatial-temporal processes that exhibit statistical stationarity or stochastic repetitiveness in the temporal dimension. In this paper, we study the problem of modeling and synthesizing dynamic textures using a generative version of the convolution neural network (ConvNet or CNN) that consists of multiple layers of spatial-temporal filters to capture the spatial-temporal patterns in the dynamic textures. We show that such spatial-temporal generative ConvNet can synthesize realistic dynamic textures. We also apply the temporal generative ConvNet to the one-dimensional sound data, and show that the model can synthesize realistic natural and man-made sounds. The videos and sounds can be found at this http URL

研究动机与目标

• 将动态纹理建模为具有统计平稳性的时空过程。
• 开发一种能够捕捉动态纹理中复杂时空模式的生成卷积神经网络架构。
• 将生成模型扩展至一维声音数据，以实现逼真音频合成。
• 展示该模型在生成感知上逼真视频和音频序列方面的能力。

提出的方法

• 该模型采用具有多层时空滤波器的深度卷积神经网络，以学习分层的时空表征。
• 基于卷积神经网络的生成方法，用于建模动态纹理的联合时空统计特性。
• 通过将滤波器维度调整为作用于时间序列，将该架构适配至一维声音数据。
• 通过重建输入序列进行训练，使模型能够通过从学习到的概率分布采样，生成新的逼真样本。
• 通过反向传播端到端学习时空滤波器，以捕捉空间与时间依赖性。
• 生成过程通过自回归或潜在变量采样实现，从而从学习到的特征生成长时序序列。

实验结果

研究问题

• RQ1 生成卷积神经网络能否有效建模并合成具有统计平稳性的动态纹理？
• RQ2 同一架构在处理一维音频信号时，能否有效泛化以实现逼真声音合成？
• RQ3 通过这种时空生成方法，合成的视频和声音能达到何种程度的感知真实感？
• RQ4 时空滤波器如何有助于捕捉动态纹理中的重复性与随机性模式？

主要发现

• 所提出的时空生成卷积神经网络通过捕捉时空模式，成功生成了逼真的动态纹理。
• 该模型在处理一维声音数据时表现出良好泛化能力，能够生成逼真的自然与人造声音。
• 通过视觉与听觉评估确认，合成的视频与音频序列具有高度的感知真实感。
• 多层时空滤波器的使用使模型能够学习动态过程的分层表征。
• 该架构在通过学习到的时间动态生成长时序序列方面表现出鲁棒性。
• 结果表明，深度生成卷积神经网络在视频与音频领域中，对复杂时空过程的建模具有显著有效性。