[论文解读] Real-time interactive sequence generation and control with Recurrent Neural Network ensembles

Memo Akten, Mick Grierson|arXiv (Cornell University)|Dec 14, 2016

Music and Audio Processing参考文献 20被引用 4

一句话总结

本文提出一种实时交互式系统，通过集成多个字符级LSTM网络实现序列生成的动态控制，用户可通过手势输入实时调节混合权重，从而引导输出风格。该方法实现了在不同文本语料（如莎士比亚作品、特朗普演讲或代码）之间的无缝、连续风格融合，生成速度达每秒1至20个字符，具体取决于模型数量。

ABSTRACT

Recurrent Neural Networks (RNN), particularly Long Short Term Memory (LSTM) RNNs, are a popular and very successful method for learning and generating sequences. However, current generative RNN techniques do not allow real-time interactive control of the sequence generation process, thus aren't well suited for live creative expression. We propose a method of real-time continuous control and 'steering' of sequence generation using an ensemble of RNNs and dynamically altering the mixture weights of the models. We demonstrate the method using character based LSTM networks and a gestural interface allowing users to 'conduct' the generation of text.

研究动机与目标

• 实现对序列生成的实时、连续交互控制，克服现有RNN系统中静态提示的局限性。
• 探索通过多样化、风格特异的LSTM集成建模，如何支持文本生成中的表达性、实时创作控制。
• 开发一种低延迟、交互式界面，使用户能够‘指挥’多个已训练文本模型之间的风格转换。
• 解决在支持大量模型的同时维持实时性能的挑战，通过基于混合权重的动态模型激活机制实现。

提出的方法

• 训练n个独立的LSTM网络，分别学习不同的文本语料，每种语料代表一种独特的语言风格（如莎士比亚、特朗普演讲、代码）。
• 每个模型独立计算给定序列下个字符的概率分布，使用共享的128字符独热编码和softmax输出。
• 通过用户输入（鼠标、LeapMotion、MIDI）实时计算动态混合权重向量πₜ，将各模型输出混合为联合概率分布ρₜ。
• 联合分布ρₜ = Σᵢ πₜⁱ · yₜⁱ 综合各模型预测结果，其中πₜⁱ为时间步t时模型i的权重。
• 系统将可视化与预测解耦：客户端的Visualiser计算πₜ并通过OSC发送至服务器，服务器并行运行所有模型并返回各模型输出。
• 性能优化机制在每一步跳过πₜⁱ < 5%的模型，通过减少活跃计算，实现在10个以上模型下仍保持实时运行。

实验结果

研究问题

• RQ1 能否通过动态调整混合权重的RNN集成方法，实现对序列生成的实时、连续控制？
• RQ2 在不同文本语料之间动态混合风格，如何影响生成序列的表达力与连贯性？
• RQ3 在实时交互系统中，模型数量与生成速度之间的性能权衡如何？
• RQ4 通过手势或MIDI控制器输入，能否有效引导输出实现期望的风格转换？

主要发现

• 系统实现了每秒1至20个字符的实时交互式文本生成，响应时间取决于活跃模型数量。
• 用户可通过实时调节混合权重，无缝实现从莎士比亚风格到特朗普风格等不同风格之间的过渡。
• 该方法支持动态模型激活：当混合权重低于5%时跳过模型，即使加载10个以上模型也能保持实时性能。
• 在2至4个活跃模型下，高配笔记本电脑上的生成速度保持在每秒10至20个字符；当模型数量超过8个时，性能下降至每秒1个字符，主要因计算量增加。
• 尽管存在部分无意义输出和拼写错误，系统仍能保持各训练语料特有的句法和格式特征（如标点符号、缩进）。
• 该方法在音乐和矢量图形等高维领域也具备可行性，未来工作将探索束搜索和单模型微调以提升可扩展性。