[论文解读] Spectral Inference Networks: Unifying Spectral Methods With Deep Learning

David Pfau, Stig Petersen+3 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用 3

一句话总结

光谱推断网络（SINs）通过使用随机优化学习对称线性算子的特征函数，将光谱方法与深度学习统一起来。该框架能够从视频和强化学习数据中实现无监督表征学习，精确恢复特征函数，并发现可解释的特征与子目标。

ABSTRACT

We present Spectral Inference Networks, a framework for learning eigenfunctions of linear operators by stochastic optimization. Spectral Inference Networks generalize Slow Feature Analysis to generic symmetric operators, and are closely related to Variational Monte Carlo methods from computational physics. As such, they can be a powerful tool for unsupervised representation learning from video or pairs of data. We derive a training algorithm for Spectral Inference Networks that addresses the bias in the gradients due to finite batch size and allows for online learning of multiple eigenfunctions. We show results of training Spectral Inference Networks on problems in quantum mechanics and feature learning for videos on synthetic datasets as well as the Arcade Learning Environment. Our results demonstrate that Spectral Inference Networks accurately recover eigenfunctions of linear operators, can discover interpretable representations from video and find meaningful subgoals in reinforcement learning environments.

研究动机与目标

• 开发一种深度学习框架，将慢特征分析推广至任意对称算子。
• 通过随机优化实现在线、无偏的多个特征函数学习。
• 将该方法应用于视频数据和强化学习环境中的无监督表征学习。
• 通过解决小批量训练中的梯度偏差问题，弥合光谱方法与深度学习之间的鸿沟。

提出的方法

• 该框架将特征函数学习表述为基于神经网络参数化试探波函数的变分优化问题。
• 采用带有校正梯度估计器的随机梯度下降，以减轻有限批次大小带来的偏差。
• 通过在训练过程中施加正交性约束，支持多个特征函数的在线学习。
• 通过将慢特征分析的适用范围扩展至协方差矩阵以外的任意对称算子，实现其推广。
• 该方法基于变分蒙特卡洛原理，实现高效的采样与优化。
• 推导出一种损失函数，以最小化瑞利商，同时保持特征函数的正交性。

实验结果

研究问题

• RQ1 光谱方法能否有效与深度神经网络结合，用于无监督表征学习？
• RQ2 在使用深度模型进行光谱学习时，如何校正小批量采样带来的梯度偏差？
• RQ3 SINs能否在无监督条件下从视频数据中发现有意义且可解释的表征？
• RQ4 SINs能否通过特征函数分解在强化学习环境中识别出子目标？
• RQ5 SINs在量子力学系统中能否精确恢复已知的特征函数？

主要发现

• SINs在量子力学系统中准确恢复了线性算子的特征函数，与解析解具有高度保真度。
• 该方法成功从合成视频数据集中学习到可解释的时空特征，捕捉了缓慢变化的动力学。
• 在街机学习环境（Arcade Learning Environment）中，SINs发现了与任务结构和奖励设计一致的有意义子目标。
• 通过批次校正，该框架实现了多个特征函数的在线学习，并显著降低了梯度偏差。
• 在视频和强化学习基准测试中，SINs在表征质量与子目标发现方面均优于基线方法。
• 该方法将慢特征分析推广至更广泛的对称算子类别，为表征学习开辟了新的应用方向。