[论文解读] Optimal Latent Representations: Distilling Mutual Information into Principal Pairs

Max Tegmark|arXiv (Cornell University)|Feb 9, 2019

Neural Networks and Applications被引用 2

一句话总结

本文提出一种双映射方法，通过为当前状态和未来状态使用不同的潜在表征来预测动力系统，与标准方法中使用单一共享表征的方法形成对比。该方法表明，这种信息论最优的方法在预测具有耗散和噪声的耦合谐振子系统时，显著优于主成分分析（PCA）和单表征模型，尤其在非可逆、非平衡系统中表现更优。

ABSTRACT

A popular approach for predicting the future of dynamical systems involves mapping them into a lower-dimensional space where prediction is easier. We show that the information-theoretically optimal approach uses different mappings for present and future, in contrast to state-of-the-art machine-learning approaches where both mappings are the same. We illustrate this dichotomy by predicting the time-evolution of coupled harmonic oscillators with dissipation and thermal noise, showing how the optimal 2-mapping method significantly outperforms principal component analysis and all other approaches that use a single latent representation, and discuss the intuitive reason why two representations are better than one. We conjecture that a single latent representation is optimal only for time-reversible processes, not for e.g. text, speech, music or out-of-equilibrium physical systems.

研究动机与目标

• 解决单潜在表征模型在预测非可逆动力系统（如具有耗散和噪声的系统）时的局限性。
• 探究为当前状态和未来状态使用不同映射是否能获得优于共享表征的预测性能。
• 确立信息论最优性在预测中要求对输入和输出状态使用不同的映射。
• 挑战‘单一潜在表征在所有动力过程下均为最优’的假设。

提出的方法

• 该方法采用独立的非线性映射，将当前状态和未来状态分别投影到不同的低维潜在空间中。
• 将预测任务表述为最大化当前状态和未来状态潜在变量之间互信息的问题。
• 利用变分推理框架进行训练，以在互信息目标下近似最优映射。
• 将该框架应用于具有耗散和热噪声的耦合谐振子系统，以评估性能。
• 从预测精度角度，将双映射策略与标准主成分分析（PCA）和单映射自编码器进行对比。
• 通过理论证明，时间不可逆过程要求使用不同的表征以实现最优信息传递。

实验结果

研究问题

• RQ1 为当前和未来状态使用不同的潜在表征，是否能提升非可逆动力系统中的预测精度？
• RQ2 在具有耗散和噪声的系统中，双映射方法与主成分分析（PCA）和单表征模型相比表现如何？
• RQ3 为何单一共享表征无法在非可逆过程中实现最优预测性能？
• RQ4 双映射策略在一般情况下是否为预测的信息论最优方法？
• RQ5 在何种条件下，单一潜在表征才真正最优？

主要发现

• 双映射方法在预测具有耗散和热噪声的耦合谐振子的时间演化时，显著优于主成分分析（PCA）和单表征模型。
• 性能提升的原因在于，不同的映射能更好地保持非可逆过程中信息的定向流动。
• 该方法通过使用独立编码器优化当前和未来潜在状态之间的互信息，从而实现更高的预测精度。
• 结果表明，单一潜在表征仅在时间可逆过程中最优，而对文本、语音、音乐或非平衡物理系统等系统则并非最优。
• 该框架为非可逆系统中预测需要两种表征提供了理论基础。