[论文解读] Recurrent Exponential-Family Harmoniums without Backprop-Through-Time

Joseph G. Makin, Ben Dichter+1 more|arXiv (Cornell University)|May 19, 2016

Music Technology and Sound Studies参考文献 11被引用 6

一句话总结

该论文提出了一种循环指数族谐振器（rEFH），通过基于信息保留和模型可识别性的新型训练方法，在无需时间反向传播（BPTT）的情况下实现在时间序列数据中的最优推理。该方法在具有线性动态系统和泊松尖峰观测的合成时间序列数据上实现了最先进水平的滤波性能，优于TRBM且与RTRBM相当，尽管其学习算法更为简单。

ABSTRACT

Exponential-family harmoniums (EFHs), which extend restricted Boltzmann machines (RBMs) from Bernoulli random variables to other exponential families (Welling et al., 2005), are generative models that can be trained with unsupervised-learning techniques, like contrastive divergence (Hinton et al. 2006; Hinton, 2002), as density estimators for static data. Methods for extending RBMs--and likewise EFHs--to data with temporal dependencies have been proposed previously (Sutskever and Hinton, 2007; Sutskever et al., 2009), the learning procedure being validated by qualitative assessment of the generative model. Here we propose and justify, from a very different perspective, an alternative training procedure, proving sufficient conditions for optimal inference under that procedure. The resulting algorithm can be learned with only forward passes through the data--backprop-through-time is not required, as in previous approaches. The proof exploits a recent result about information retention in density estimators (Makin and Sabes, 2015), and applies it to a "recurrent EFH" (rEFH) by induction. Finally, we demonstrate optimality by simulation, testing the rEFH: (1) as a filter on training data generated with a linear dynamical system, the position of which is noisily reported by a population of "neurons" with Poisson-distributed spike counts; and (2) with the qualitative experiments proposed by Sutskever et al. (2009).

研究动机与目标

• 开发一种用于循环指数族谐振器（rEFH）的训练方法，使其在时间序列数据中实现最优推理，而无需依赖时间反向传播（BPTT）。
• 通过利用模型可识别性和密度估计器中的信息保留，建立rEFH实现最优推理的充分条件。
• 证明rEFH可在不假设动力学已知参数模型的情况下，学习隐藏状态的紧凑充分统计量——等价于卡尔曼滤波器的矩生成量。
• 在真实后验分布可解析计算的合成数据上，通过实证比较rEFH与TRBM和RTRBM在滤波和生成任务中的表现。
• 展示在rEFH中反向生成（采样）是直接且高效的，而TRBM和RTRBM则需要复杂的迭代采样过程。

提出的方法

• rEFH通过将前一时刻隐藏单元的均值作为输入表示的一部分，引入循环连接，从而扩展了指数族谐振器（EFHs）。
• 训练过程仅依赖于数据的前向传播，通过利用关于密度估计器中信息保留的理论结果（Makin & Sabes, 2015），避免了时间反向传播（BPTT）。
• 该方法假设模型可识别，确保训练后的rEFH中隐藏单元的均值编码了真实隐藏状态的充分统计量，从而实现最优滤波。
• 模型通过对比散度或类似无监督学习技术在序列上进行训练，其中每个输入向量包含当前观测值和前一时刻的隐藏单元均值。
• 推理通过结合当前观测值和前一状态计算隐藏单元均值，随后通过可见单元重构的质心运算解码状态估计。
• 生成通过反向遍历rEFH实现，利用权重矩阵和非线性函数从隐藏状态向可见状态传播，从而实现高效的轨迹采样。

实验结果

研究问题

• RQ1 在何种条件下，循环EFH可在无需时间反向传播（BPTT）的情况下实现在时间序列数据中的最优推理？
• RQ2 当底层动力学未知或非线性时，rEFH能否学习到真实隐藏状态的充分统计量——等价于卡尔曼滤波器的矩生成量？
• RQ3 尽管TRBM和RTRBM与rEFH在架构上相似，为何所提出的训练方法在这些模型中无法实现最优性？
• RQ4 在具有已知真实后验分布的合成数据上，rEFH在滤波任务中的表现如何，与TRBM和RTRBM相比如何？
• RQ5 在rEFH中，反向生成（从模型采样）是否可行且高效？与TRBM和RTRBM相比有何差异？

主要发现

• rEFH在由线性动态系统和泊松尖峰观测生成的合成数据上实现了最优滤波性能，其表现与真实卡尔曼滤波器相当。
• rEFH在滤波任务中优于TRBM，且与RTRBM性能相当，尽管其训练算法更简单，且避免了BPTT。
• rEFH实现了高效的反向生成，可直接生成样本轨迹，而TRBM和RTRBM则需要复杂且迭代的采样过程。
• 训练后rEFH中隐藏单元的均值编码了真实隐藏状态的充分统计量，证实该模型学习到了过去观测的紧凑且最优的摘要。
• 理论依据基于模型可识别性和信息保留，表明即使不假设动力学的已知参数模型，rEFH也能学习到最优滤波器。
• 在40,000个向量（40条1,000个时间步长的轨迹）上的实证测试表明，由于所有模型采用一致的解码方案，rEFH提供了性能的下界估计，使比较结果有效。